Безопасно размещаем отзывы и Работаем с репутацией!
Могут ли люди распознать выдуманный отзыв: исследование Корнелла
Статья исследователей Cornell University: люди отличают выдуманный отзыв об отеле почти на уровне случайного угадывания, а алгоритм — примерно в 90% случаев. Какие признаки его выдают.
Паспорт исследования
- Оригинал
- Finding Deceptive Opinion Spam by Any Stretch of the Imagination
- Авторы
- Myle Ott, Yejin Choi, Claire Cardie, Jeffrey T. Hancock
- Где и когда
- ACL 2011 (49th Annual Meeting of the Association for Computational Linguistics), 2011
- Тип
- Рецензируемое исследование
- Метод
- Сбор эталонного набора: выдуманные отзывы написаны по заданию исполнителями Amazon Mechanical Turk, настоящие взяты с TripAdvisor. Сравнение точности людей и классификаторов на текстовых признаках.
- Выборка
- 800 отзывов о 20 популярных отелях одного крупного города США: 400 настоящих и 400 выдуманных положительных.
- Рынок и период
- США, отели, 2011
- Источник
- ar5iv.arxiv.org ↗
- Сверено
⚠️
Данным больше пяти лет: выводы полезны как ориентир, но рынок и площадки с тех пор изменились.
⚡ Главное за 30 секунд
- Авторы собрали 400 настоящих отзывов с TripAdvisor и 400 выдуманных, написанных по заданию, об одних и тех же 20 отелях.
- Люди распознавали выдуманные отзывы с точностью 53–62%, то есть почти наугад.
- Алгоритм на основе слов и психолингвистических признаков достиг точности около 90%.
- Выдуманные отзывы чаще говорят «я», используют превосходные степени и рассказывают о поводе поездки, а не о самом отеле.
Ключевые выводы
53–62%
Точность трёх людей-экспертов при отличении выдуманных отзывов от настоящих — почти уровень случайного угадывания.
В оригинале: Section 3.3, Table 2
89,8%
Точность лучшего классификатора (линейный SVM на признаках LIWC и биграммах).
В оригинале: Section 4, Table 3Выдуманные отзывы чаще используют местоимения первого лица единственного числа, превосходные степени и больше рассказывают о внешних темах — семье, работе, отпуске.
В оригинале: Section 5Настоящие отзывы содержат больше конкретных пространственных деталей об отеле.
В оригинале: Section 5Распознать выдуманный отзыв на глаз гораздо труднее, чем кажется, — это показал эксперимент Cornell University. Майл Отт, Еджин Чой, Клэр Карди и Джеффри Хэнкок из Cornell University проверили, насколько хорошо люди и алгоритмы отличают выдуманные отзывы от настоящих. Результат стал классикой: люди почти не справляются.
Что изучали
Главная проблема таких исследований — нет надёжного эталона: никто не знает наверняка, какой отзыв настоящий. Авторы решили её так: поручили исполнителям на платформе Amazon Mechanical Turk написать 400 положительных отзывов об отелях, в которых те не жили, и взяли 400 настоящих положительных отзывов о тех же 20 отелях с TripAdvisor.
Затем отзывы показали людям и обучили алгоритмы, которые анализировали слова, сочетания слов и психолингвистические признаки — например, сколько в тексте местоимений, эмоций, пространственных слов.
Что получилось
| Кто распознаёт | Точность |
|---|---|
| Люди (три эксперта) | 53–62% |
| Лучший алгоритм | около 90% |
Люди справлялись почти на уровне монетки. При этом они чаще считали отзывы настоящими, чем выдуманными: интуитивно люди склонны доверять.
Алгоритм опирался на заметные закономерности:
- в выдуманных отзывах больше «я» и «мой» и больше превосходных степеней;
- они чаще рассказывают о поводе поездки — семье, работе, отпуске, — а не об отеле;
- в настоящих больше конкретики: расположение, этаж, вид, путь от лифта до номера.
Объяснение простое: человек, который не был в отеле, не знает деталей и заполняет текст общими словами и рассказом о себе.
Что это значит для бизнеса в России
- Модерация отзывов на площадках опирается на алгоритмы, потому что люди с этой задачей не справляются. Если ваш реальный отзыв скрыли, причина часто в «нетипичном» тексте.
- Конкретика — признак настоящего отзыва. Просите клиентов писать, что именно понравилось: имя мастера, блюдо, срок работ.
- Отзывная мимикрия — попытки подражать стилю настоящих отзывов — усложняет распознавание, а сгенерированный отзыв от нейросети может не иметь признаков 2011 года. Поэтому площадки всё больше опираются на поведенческие сигналы.
- Подтверждённый отзыв — после покупки или визита — надёжнее любого анализа текста.
💡
Контекст 2026–2027 годовС появлением нейросетей тексты стали правдоподобнее, и лингвистические признаки работают хуже. Но вывод о том, что людям трудно распознать выдуманный отзыв на глаз, только усилился.
Как отличать недостоверные отзывы на практике — в статье Недостоверные отзывы: как распознать. Почему площадки скрывают отзывы — в материалах Почему Яндекс Карты не публикуют отзыв и Модерация отзывов в 2ГИС.
Статья есть на странице лаборатории Stanford и в архиве UCI.
Ограничения исследования
- Выдуманные отзывы писали по заданию исследователей, а не реальные недобросовестные авторы; в жизни тексты разнообразнее.
- Только положительные отзывы об отелях и только английский язык.
- Работа 2011 года: тексты, сгенерированные нейросетями, устроены иначе, и признаки могут не совпадать.
Как сослаться
Оригинал, ГОСТ
Myle Ott, Yejin Choi, Claire Cardie, Jeffrey T. Hancock. Finding Deceptive Opinion Spam by Any Stretch of the Imagination // ACL 2011 (49th Annual Meeting of the Association for Computational Linguistics). — 2011. — URL: https://ar5iv.arxiv.org/html/1107.4557 (дата обращения: 01.11.2026).
Оригинал, APA
Myle Ott, Yejin Choi, Claire Cardie, Jeffrey T. Hancock (2011). Finding Deceptive Opinion Spam by Any Stretch of the Imagination. ACL 2011 (49th Annual Meeting of the Association for Computational Linguistics). https://ar5iv.arxiv.org/html/1107.4557
Этот пересказ
Могут ли люди распознать выдуманный отзыв: исследование Корнелла // SERM Service. — URL: https://sermservice.ru/research/ott-choi-cardie-hancock-raspoznavanie-otzyvov/ (дата обращения: 03.11.2026).
Частые вопросы
Почему люди плохо распознают выдуманные отзывы?
Люди по умолчанию склонны доверять тексту и не замечают статистических закономерностей вроде частоты местоимений. В эксперименте точность людей была 53–62%, почти как при случайном угадывании.
Какие признаки выдают выдуманный отзыв?
В исследовании это были частые «я» и «мой», превосходные степени, рассказ о поводе поездки вместо отеля и мало конкретных деталей. Но это признаки 2011 года, и нейросетевые тексты могут их не иметь.
Можно ли по этим признакам жаловаться на отзывы?
Признаки помогают заподозрить проблему, но не доказывают её. Для жалобы на площадку лучше собирать факты: нет ли такого клиента в базе, совпадения во времени, повторы текста.
Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.