Крайностный перекос: почему отзывы не отражают типичный опыт клиентов

Распределение оценок в отзывах редко похоже на реальное распределение мнений клиентов. Если опросить всех клиентов, большинство поставит четвёрку или пятёрку, заметная часть — тройку, и немногие — единицу. А на площадке картина другая: пятёрок много, единиц заметно, а средних оценок почти нет. Такое смещение к краям мы в SERM Service называем крайностным перекосом. Это рабочее понятие агентства; сам эффект в исследованиях называют J-образным распределением.

Что показывают исследования

Ху, Павлу и Чжан сравнили оценки товаров на крупной площадке с оценками тех же товаров в контролируемом опросе, где ответить попросили всех. На площадке распределение было J-образным, а в опросе — гораздо ровнее, ближе к нормальному. Авторы объясняют это двумя эффектами: покупают товар в основном те, кто заранее ожидает от него хорошего, а пишут отзыв в основном те, кто испытал сильные эмоции.

Похожие механизмы описаны и в других работах. Шааршмидт с соавторами изучали, как читатели воспринимают противоречивые отзывы — см. пересказ. А Масловска, Малтхаус и Бернриттер показали, что слишком идеальный рейтинг вызывает меньше доверия, чем рейтинг немного ниже максимума, — см. пересказ.

Как распознать перекос у себя

Посмотрите распределение оценок на основной площадке.

Признаки перекоса: оценок «4» и «3» вместе меньше, чем единиц; между пятёрками и единицами почти пусто; отзывы появляются волнами после заметных событий.

Чем перекос опасен

• Хрупкий рейтинг. Каждая единица весит много, потому что средних оценок, которые сглаживают картину, мало.
• Искажённые ожидания. Читатель не понимает, какой опыт типичен: восторг или провал.
• Искажённые пересказы. Нейросети, которые пересказывают отзывы, получают материал из крайностей, и сводка начинает звучать как «одни в восторге, другие разочарованы».
• Ниша недовольных. Если недовольные пишут чаще, площадка становится каналом жалоб, а не обратной связи.

Отзывы как заработанные медиа

Заработанные медиа — всё, что о компании публикуют другие без оплаты с её стороны. Отзывы клиентов — их важная часть, и ассистенты опираются на них, отвечая на вопросы выбора. Крайностный перекос сужает этот источник: о компании говорят только самые эмоциональные клиенты. Когда отзывы пишут и обычные клиенты, заработанные медиа становятся шире и точнее.

Трусов, Баклин и Пауэлс показали, насколько сильным каналом может быть мнение клиентов: 0,53 — Долгосрочная эластичность регистраций по рекомендациям — существенно выше средних эластичностей рекламы в литературе. [Trusov и др., 2009]

Пример: магазин электроники

Условный магазин электроники с пунктами выдачи имел 1 200 отзывов и рейтинг 4,1. Распределение: 64% пятёрок, 19% единиц, остальное размазано между 2 и 4. Отзывы писали в основном после проблем с доставкой или после особенно удачной покупки.

Внутренний опрос после выдачи товара, на который отвечала треть клиентов, давал совсем другую картину: 71% — «отлично» и «хорошо», 18% — «нормально», 11% — «плохо».

Что сделали:

• после выдачи товара стали отправлять всем клиентам короткую просьбу об отзыве со ссылкой на площадку, без условий об оценке;
• просьбу отправляли через день, когда клиент успел попробовать покупку;
• на все отзывы с оценкой ниже четырёх давали содержательные ответы.

За полгода число отзывов в месяц выросло в два с половиной раза, доля четвёрок и троек — с 11% до 26%, рейтинг поднялся до 4,4. Каждая отдельная единица стала влиять на рейтинг заметно меньше.

Запрос отзыва как инструмент

Запрос отзыва — просьба к клиенту оставить отзыв — главный инструмент против перекоса. Чтобы он выравнивал распределение, а не создавал новый перекос:

• Просите всех, а не только тех, кто сам выразил восторг.
• Не ставьте условий об оценке. Скидка только за пятёрку нарушает правила площадок и закон.
• Выбирайте момент. После того как клиент получил результат, но пока помнит детали.
• Упростите путь. Прямая ссылка на форму отзыва вместо «найдите нас на площадке».

Молчаливый читатель

Молчаливый читатель — человек, который читает отзывы, но не пишет их. Таких большинство, и именно для них компания собирает отзывы. Ровное распределение оценок даёт им честную картину: чего ждать обычно, что бывает в лучшем и худшем случае.

Как перекос влияет на ответы нейросетей

Ассистенты, которые пересказывают отзывы, берут подробные фрагменты, а крайние отзывы обычно самые подробные. При сильном перекосе пересказ строится из восторгов и жалоб, а типичный опыт в нём не отражён. Это одна из причин тонального смещения пересказа, когда сводка звучит хуже или лучше реального соотношения мнений.

Как отличить перекос от реальной проблемы

Не каждое J-образное распределение — перекос. Иногда много единиц означает реальную проблему, которую затрагивает заметная часть клиентов.

Если признаки указывают на реальную проблему, сначала решайте её, а потом расширяйте сбор отзывов: иначе просьба об отзыве даст ещё больше негатива.

Опрос не заменяет публичные отзывы, но даёт точку отсчёта: если через полгода распределение на площадке приблизилось к распределению опроса, перекос снижается.

Связь с другими понятиями прямая: перекос снижает отзывную глубину обычного опыта и делает рейтинг хрупким у полузвёздного порога. Поэтому регулярная просьба об отзыве ко всем клиентам решает сразу несколько задач.

Как показать перекос руководителю

Удобнее всего — две гистограммы рядом: распределение оценок на площадке и распределение ответов во внутреннем опросе. Если внутреннего опроса нет, его стоит запустить хотя бы на месяц: один короткий вопрос после покупки с оценкой от одного до пяти. Разница между двумя картинками наглядно показывает, что площадка отражает не всех клиентов, и обосновывает регулярную просьбу об отзыве.

Чек-лист

• Выгружено распределение оценок по основным площадкам
• Проверены признаки J-образного распределения
• Сравнено с внутренним опросом клиентов, если он есть
• Запущена просьба об отзыве ко всем клиентам
• Выбран момент просьбы после получения результата
• Исключены условия об оценке
• Распределение оценок отслеживается ежемесячно

Как устроить сбор отзывов от всех клиентов, разобрано в статье Как собирать отзывы от реальных клиентов. Как связать опросы и публичные отзывы, — в материале NPS и публичные отзывы, а роль независимых источников в ИИ-поиске — в статье Доля заработанных цитат: как посчитать и повысить независимые упоминания. Крупные магазины электроники с большим потоком отзывов, например М.Видео, хорошо показывают, как меняется распределение при регулярной просьбе об отзыве.

Первоисточники: Overcoming the J-shaped Distribution of Product Reviews, Effects of Word-of-Mouth Versus Traditional Marketing и справка Яндекса об отзывах.