Перевёртыш: что делать, если оценка не совпадает с текстом отзыва

Оценка не совпадает с текстом отзыва — ситуация, которую видел каждый, кто регулярно читает карточки. «Ждали час, администратор нагрубил, больше не придём» — и пять звёзд. «Всё прекрасно, спасибо мастеру» — и одна звезда. Такие отзывы в SERM Service называют перевёртышами. Это профессиональный жаргон агентства.

Откуда берутся перевёртыши

Последний вариант — не перевёртыш в строгом смысле: текст и оценка совпадают, но автоматический анализ тональности — оценка эмоциональной окраски текста — может принять сарказм за похвалу.

Чем перевёртыши вредят

Единица с похвалой тянет рейтинг вниз без причины. При небольшом числе отзывов одна такая оценка может опустить компанию ниже полузвёздного порога — значения, при котором площадка округляет рейтинг до следующей ступени. Тогда клиент увидит 4,7 вместо 4,8, хотя никто не был недоволен.

Пятёрка с жалобой опасна иначе. Рейтинг её не отражает, но текст остаётся в карточке. Нейросети, которые пересказывают отзывы, читают именно текст. Жалоба с пятью звёздами попадает в пересказ как жалоба — и усиливает тональное смещение пересказа, когда сводка звучит хуже реального соотношения оценок.

Что показывают исследования

Исследования агрегации рейтингов показывают, что простое среднее — несовершенный способ свести оценки к одной цифре: на него влияют и случайный шум, и особенности отдельных авторов. Дай, Джин, Ли и Лука предложили способы учитывать такие искажения — см. пересказ.

А Шааршмидт с соавторами изучали, как читатели воспринимают противоречивые отзывы, — см. пересказ. Противоречие внутри одного отзыва — частный случай: читатель не понимает, чему верить, и обычно верит тексту.

Как найти перевёртыши

1. Выгрузите отзывы за последние месяцы с оценками.
2. Отметьте тон текста вручную или с помощью простой классификации: положительный, нейтральный, отрицательный.
3. Сравните с оценкой. Перевёртыш — отрицательный текст с оценкой 4–5 или положительный текст с оценкой 1–2.
4. Отметьте явные ошибки — благодарность с единицей почти всегда ошибка интерфейса.
5. Посчитайте влияние — каким был бы рейтинг, если бы оценки перевёртышей совпадали с текстом.

Для компании с сотнями отзывов ручная проверка занимает час. Для больших объёмов удобно сначала отфильтровать отзывы с короткими текстами и крайними оценками — перевёртыши концентрируются там.

Пример: стоматологическая клиника

Условная клиника с 140 отзывами и рейтингом 4,72 нашла семь перевёртышей.

Без четырёх ошибочных единиц рейтинг был бы около 4,83 — выше ближайшего порога. Клиника ответила на эти отзывы с благодарностью и короткой фразой о том, что оценку можно изменить, если она поставлена случайно. Двое авторов исправили оценку сами, рейтинг поднялся до 4,77 и стал отображаться как 4,8.

На жалобы с пятёрками клиника ответила по существу — как на обычные жалобы. Это важно: если ответить на них благодарностью «за высокую оценку», читатели увидят, что компания не читает текст.

Как отвечать на перевёртыш

Единица с похвалой: «Спасибо за тёплые слова о нашем мастере! Нам показалось, что оценка могла быть поставлена случайно, — если так, её можно изменить в вашем отзыве. Если же что-то было не так, расскажите, пожалуйста, — мы разберёмся».

Пятёрка с жалобой: Отвечайте на текст, а не на звёзды: признайте проблему, опишите, что сделали, предложите связаться. Благодарность за высокую оценку здесь неуместна.

Частые ошибки

• Жаловаться на перевёртыш площадке. Если отзыв не нарушает правила, жалоба будет отклонена.
• Игнорировать пятёрки с жалобами. Рейтинг в порядке, но текст читают люди и нейросети.
• Отвечать шаблоном. «Спасибо за оценку!» под жалобой показывает, что ответ писали не глядя.

Перевёртыши и порог округления

Полузвёздный порог — значение, при котором площадка округляет рейтинг до следующей ступени, — делает перевёртыши особенно болезненными для небольших компаний. При 50 отзывах одна ошибочная единица снижает среднее примерно на 0,07. Если компания стоит у порога, этого достаточно, чтобы отображаемый рейтинг опустился на ступень.

Поэтому небольшим компаниям стоит проверять перевёртыши чаще — раз в неделю, — а крупным достаточно ежемесячной проверки.

Перевёртыши в автоматическом анализе

Если компания анализирует отзывы автоматически — по оценкам или с помощью классификации текста, — перевёртыши искажают результаты. Анализ только по звёздам пропустит жалобы с пятёрками. Анализ только по тексту может не заметить сарказм. Надёжнее сочетать оба признака и вручную просматривать отзывы, где они расходятся. Такие расхождения — не мусор, а самые информативные отзывы для понимания реального опыта клиентов.

Как предотвратить

Компания не может управлять интерфейсом площадки, но может снизить число ошибок: в просьбе об отзыве напомнить, что пять звёзд — высшая оценка. Это не давление на оценку, а пояснение шкалы, особенно полезное для пожилых клиентов и тех, кто оставляет отзыв впервые.

Перевёртыши как сигнал

Регулярное появление перевёртышей с похвалой и единицей иногда говорит не об ошибках клиентов, а о проблеме в процессе. Например, если просьба об отзыве приходит в сообщении со ссылкой, которая открывает форму с заранее выделенной первой звездой, ошибок будет больше. Если перевёртышей много, проверьте путь клиента к форме отзыва: возможно, его можно упростить.

Связь с другими понятиями

Перевёртыш с жалобой и пятёркой нередко оказывается в верхней тройке — первых отзывах карточки, — потому что он длинный и подробный, а площадки поднимают такие отзывы выше. Тогда клиент видит высокий рейтинг и жалобу наверху одновременно. Содержательный ответ на такой отзыв особенно важен: он стоит на самом видном месте карточки, и его прочитают почти все, кто её открыл. Это делает перевёртыши заметнее обычных отзывов.

Чек-лист

• Отзывы за период проверены на совпадение тона и оценки
• Посчитано влияние перевёртышей на рейтинг
• На единицы с похвалой даны ответы с вежливым пояснением
• На пятёрки с жалобами даны ответы по существу
• Ни в одном ответе нет давления на автора
• Проверка повторяется ежемесячно

Как нейросети искажают тон отзывов, разобрано в статье Тональное смещение пересказа: как нейросети искажают тон отзывов. Почему одна оценка может сдвинуть отображаемый рейтинг, — в материале Полузвёздный порог: как округление рейтинга влияет на выбор клиентов. На маркетплейсах перевёртыши часто связаны с доставкой, а не с товаром — например, на Яндекс Маркете.

Первоисточники: What Makes a Helpful Online Review?, справка Google о работе с отзывами клиентов и справка Яндекса об отзывах.