Безопасно размещаем отзывы и Работаем с репутацией!
Как правильно считать рейтинг: исследование агрегации оценок на Yelp
Статья в Quantitative Marketing and Economics: почему простое среднее — не лучший способ считать рейтинг и как часто правильно взвешенный рейтинг отличается от того, что видит клиент.
- Оригинал
- Aggregation of consumer ratings: an application to Yelp.com
- Авторы
- Weijia Dai, Ginger Z. Jin, Jungmin Lee, Michael Luca
- Где и когда
- Quantitative Marketing and Economics, 16(3), 289–339, 2018
- Тип
- Рецензируемое исследование
- Метод
- Структурная модель поведения авторов отзывов: строгость, точность, влияние предыдущих отзывов, изменение качества заведения во времени; построение скорректированного рейтинга и сравнение со средним.
- Выборка
- Отзывы о ресторанах на Yelp.
- Рынок и период
- США, рестораны
- Источник
- doi:10.1007/s11129-017-9194-9 ↗
- Сверено
- Простое среднее учитывает первый отзыв так же, как тысячный, хотя качество заведения меняется со временем.
- Авторы предложили алгоритм, который учитывает строгость и точность авторов, влияние прошлых отзывов и изменение качества.
- У 25–27% ресторанов простое среднее отличалось от оптимального рейтинга более чем на 0,15 звезды, у 8–10% — более чем на 0,25.
- Даже упрощённая версия алгоритма даёт заметный выигрыш в точности по сравнению со средним.
Ключевые выводы
Доля ресторанов, у которых простое среднее отличается от оптимального рейтинга более чем на 0,15 звезды.
В оригинале: HBS Working Knowledge; ResultsДоля ресторанов с отклонением более 0,25 звезды.
В оригинале: HBS Working Knowledge; ResultsОптимальный алгоритм даёт ранним отзывам меньший вес и быстрее реагирует на изменение качества.
В оригинале: HBS Working KnowledgeДаже простая версия алгоритма даёт значительный выигрыш в информационной эффективности по сравнению со средним арифметическим.
В оригинале: AbstractКак считать рейтинг — вопрос, который касается каждой площадки отзывов. Вейцзя Дай, Джинджер Цзинь, Чжунмин Ли и Майкл Лука задали вопрос, который касается каждой площадки отзывов: как вообще правильно превращать сотни оценок в одну цифру? Простое среднее кажется очевидным, но у него есть серьёзные недостатки.
Что изучали
У среднего арифметического три проблемы:
- первый отзыв весит столько же, сколько тысячный, хотя заведение за это время могло сильно измениться;
- одни авторы строже других, а одни точнее других;
- авторы видят предыдущие отзывы, и это влияет на их оценку.
Авторы построили модель, которая учитывает всё это, и на данных Yelp посчитали «оптимальный» рейтинг для каждого ресторана. Затем сравнили его с простым средним.
Что получилось
| Отклонение среднего от оптимального | Доля ресторанов |
|---|---|
| Больше 0,15 звезды | 25–27% |
| Больше 0,25 звезды | 8–10% |
У каждого четвёртого ресторана простое среднее заметно расходилось с более точной оценкой. Основная причина — изменение качества: старые отзывы описывают заведение, которого уже нет. Алгоритм даёт ранним отзывам меньше веса и быстрее реагирует на улучшения и ухудшения.
Авторы подчёркивают, что оценки отклонений консервативные, а даже упрощённая версия алгоритма заметно точнее среднего.
Что это значит для бизнеса в России
- Хвост отзывов — старые отзывы о давно решённых проблемах — реально искажает простое среднее. Площадки, которые учитывают свежесть отзывов, точнее отражают текущее качество.
- Яндекс уже взвешивает оценки по автору — см. правила расчёта рейтинга Яндекса. Это шаг в ту же сторону, что предлагают авторы.
- Если рейтинг карточки не догоняет реальные улучшения, решение — поток свежих отзывов: они постепенно перевешивают старые.
- Малое число отзывов означает высокую рейтинговую хрупкость: любая модель здесь даёт неточную оценку.
Как устроен рейтинг на картах — в статьях Отзывы на Яндекс Картах: как устроен рейтинг и Отзывы в 2ГИС: как работает рейтинг. Что ещё считать кроме рейтинга — в материале Метрики репутации в отзывах.
Пересказ исследования опубликовал HBS Working Knowledge; журнальная версия — в базе IDEAS/RePEc.
Ограничения исследования
- Модель опирается на допущения о поведении авторов; «оптимальный» рейтинг — оценка модели, а не истина.
- Данные Yelp; у российских площадок свои алгоритмы, часть из которых уже учитывает вес автора.
- Авторы называют свои оценки отклонений консервативными.
Как сослаться
Weijia Dai, Ginger Z. Jin, Jungmin Lee, Michael Luca. Aggregation of consumer ratings: an application to Yelp.com // Quantitative Marketing and Economics, 16(3), 289–339. — 2018. — URL: https://doi.org/10.1007/s11129-017-9194-9 (дата обращения: 01.11.2026).
Weijia Dai, Ginger Z. Jin, Jungmin Lee, Michael Luca (2018). Aggregation of consumer ratings: an application to Yelp.com. Quantitative Marketing and Economics, 16(3), 289–339. https://doi.org/10.1007/s11129-017-9194-9
Как правильно считать рейтинг: исследование агрегации оценок на Yelp // SERM Service. — URL: https://sermservice.ru/research/dai-jin-lee-luca-agregaciya-rejtingov/ (дата обращения: 03.11.2026).
Частые вопросы
Чем плох простой средний рейтинг?
Он даёт одинаковый вес старым и новым отзывам и не учитывает, что авторы различаются по строгости и точности. Если качество заведения изменилось, среднее отстаёт от реальности.
Насколько сильно среднее ошибается?
По оценке авторов, у 25–27% ресторанов отклонение больше 0,15 звезды, у 8–10% — больше 0,25. Авторы считают эти оценки консервативными.
Что делать, если рейтинг не отражает улучшения?
Наращивать поток свежих отзывов от реальных клиентов. Со временем они перевешивают старые, а площадки, которые учитывают свежесть, реагируют быстрее.
Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.
