🔬 Рецензируемое исследование 📍 Локальный поиск и карты

Как правильно считать рейтинг: исследование агрегации оценок на Yelp

Статья в Quantitative Marketing and Economics: почему простое среднее — не лучший способ считать рейтинг и как часто правильно взвешенный рейтинг отличается от того, что видит клиент.

Паспорт исследования
Оригинал
Aggregation of consumer ratings: an application to Yelp.com
Авторы
Weijia Dai, Ginger Z. Jin, Jungmin Lee, Michael Luca
Где и когда
Quantitative Marketing and Economics, 16(3), 289–339, 2018
Тип
Рецензируемое исследование
Метод
Структурная модель поведения авторов отзывов: строгость, точность, влияние предыдущих отзывов, изменение качества заведения во времени; построение скорректированного рейтинга и сравнение со средним.
Выборка
Отзывы о ресторанах на Yelp.
Рынок и период
США, рестораны
Источник
doi:10.1007/s11129-017-9194-9 ↗
Сверено
⚠️
Данным больше пяти лет: выводы полезны как ориентир, но рынок и площадки с тех пор изменились.
⚡ Главное за 30 секунд
  • Простое среднее учитывает первый отзыв так же, как тысячный, хотя качество заведения меняется со временем.
  • Авторы предложили алгоритм, который учитывает строгость и точность авторов, влияние прошлых отзывов и изменение качества.
  • У 25–27% ресторанов простое среднее отличалось от оптимального рейтинга более чем на 0,15 звезды, у 8–10% — более чем на 0,25.
  • Даже упрощённая версия алгоритма даёт заметный выигрыш в точности по сравнению со средним.

Ключевые выводы

25–27%

Доля ресторанов, у которых простое среднее отличается от оптимального рейтинга более чем на 0,15 звезды.

В оригинале: HBS Working Knowledge; Results
8–10%

Доля ресторанов с отклонением более 0,25 звезды.

В оригинале: HBS Working Knowledge; Results

Оптимальный алгоритм даёт ранним отзывам меньший вес и быстрее реагирует на изменение качества.

В оригинале: HBS Working Knowledge

Даже простая версия алгоритма даёт значительный выигрыш в информационной эффективности по сравнению со средним арифметическим.

В оригинале: Abstract

Как считать рейтинг — вопрос, который касается каждой площадки отзывов. Вейцзя Дай, Джинджер Цзинь, Чжунмин Ли и Майкл Лука задали вопрос, который касается каждой площадки отзывов: как вообще правильно превращать сотни оценок в одну цифру? Простое среднее кажется очевидным, но у него есть серьёзные недостатки.

Что изучали

У среднего арифметического три проблемы:

  • первый отзыв весит столько же, сколько тысячный, хотя заведение за это время могло сильно измениться;
  • одни авторы строже других, а одни точнее других;
  • авторы видят предыдущие отзывы, и это влияет на их оценку.

Авторы построили модель, которая учитывает всё это, и на данных Yelp посчитали «оптимальный» рейтинг для каждого ресторана. Затем сравнили его с простым средним.

Что получилось

Отклонение среднего от оптимального Доля ресторанов
Больше 0,15 звезды 25–27%
Больше 0,25 звезды 8–10%

У каждого четвёртого ресторана простое среднее заметно расходилось с более точной оценкой. Основная причина — изменение качества: старые отзывы описывают заведение, которого уже нет. Алгоритм даёт ранним отзывам меньше веса и быстрее реагирует на улучшения и ухудшения.

Авторы подчёркивают, что оценки отклонений консервативные, а даже упрощённая версия алгоритма заметно точнее среднего.

Что это значит для бизнеса в России

  • Хвост отзывов — старые отзывы о давно решённых проблемах — реально искажает простое среднее. Площадки, которые учитывают свежесть отзывов, точнее отражают текущее качество.
  • Яндекс уже взвешивает оценки по автору — см. правила расчёта рейтинга Яндекса. Это шаг в ту же сторону, что предлагают авторы.
  • Если рейтинг карточки не догоняет реальные улучшения, решение — поток свежих отзывов: они постепенно перевешивают старые.
  • Малое число отзывов означает высокую рейтинговую хрупкость: любая модель здесь даёт неточную оценку.
💡

Связь с поведением клиентовПо опросу BrightLocal 2026, 74% клиентов важны только отзывы за последние три месяца. Люди интуитивно делают то же, что предлагают авторы: дают старым отзывам меньший вес.

Как устроен рейтинг на картах — в статьях Отзывы на Яндекс Картах: как устроен рейтинг и Отзывы в 2ГИС: как работает рейтинг. Что ещё считать кроме рейтинга — в материале Метрики репутации в отзывах.

Пересказ исследования опубликовал HBS Working Knowledge; журнальная версия — в базе IDEAS/RePEc.

Ограничения исследования

  • Модель опирается на допущения о поведении авторов; «оптимальный» рейтинг — оценка модели, а не истина.
  • Данные Yelp; у российских площадок свои алгоритмы, часть из которых уже учитывает вес автора.
  • Авторы называют свои оценки отклонений консервативными.

Как сослаться

Оригинал, ГОСТ

Weijia Dai, Ginger Z. Jin, Jungmin Lee, Michael Luca. Aggregation of consumer ratings: an application to Yelp.com // Quantitative Marketing and Economics, 16(3), 289–339. — 2018. — URL: https://doi.org/10.1007/s11129-017-9194-9 (дата обращения: 01.11.2026).

Оригинал, APA

Weijia Dai, Ginger Z. Jin, Jungmin Lee, Michael Luca (2018). Aggregation of consumer ratings: an application to Yelp.com. Quantitative Marketing and Economics, 16(3), 289–339. https://doi.org/10.1007/s11129-017-9194-9

Этот пересказ

Как правильно считать рейтинг: исследование агрегации оценок на Yelp // SERM Service. — URL: https://sermservice.ru/research/dai-jin-lee-luca-agregaciya-rejtingov/ (дата обращения: 03.11.2026).

Частые вопросы

Чем плох простой средний рейтинг?

Он даёт одинаковый вес старым и новым отзывам и не учитывает, что авторы различаются по строгости и точности. Если качество заведения изменилось, среднее отстаёт от реальности.

Насколько сильно среднее ошибается?

По оценке авторов, у 25–27% ресторанов отклонение больше 0,15 звезды, у 8–10% — больше 0,25. Авторы считают эти оценки консервативными.

Что делать, если рейтинг не отражает улучшения?

Наращивать поток свежих отзывов от реальных клиентов. Со временем они перевешивают старые, а площадки, которые учитывают свежесть, реагируют быстрее.

Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.