Безопасно размещаем отзывы и Работаем с репутацией!
Поиск с ИИ вдвое ускоряет выбор товара, но люди не замечают его ошибок
Рандомизированный эксперимент Microsoft Research: с поиском на основе языковой модели люди выбирали товар вдвое быстрее, но когда модель ошибалась, доля верных решений падала с 93% до 47%.
Паспорт исследования
- Оригинал
- Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment
- Авторы
- Sofia Eleni Spatharioti, David M. Rothschild, Daniel G. Goldstein, Jake M. Hofman
- Где и когда
- arXiv:2307.03744 (версия 2); доработанная версия — CHI 2025 под названием «Effects of LLM-based Search on Decision Making: Speed, Accuracy, and Overreliance», 2023
- Тип
- Препринт
- Метод
- Два онлайн-эксперимента со случайным распределением: выбор между двумя автомобилями с помощью обычного поиска или поиска на основе языковой модели; во втором эксперименте — подсветка цифр с низкой уверенностью модели.
- Выборка
- 90 участников в первом эксперименте и 120 во втором, набранных через Amazon Mechanical Turk.
- Рынок и период
- США, 2023
- Источник
- doi:10.48550/arXiv.2307.03744 ↗
- Сверено
⚡ Главное за 30 секунд
- С поиском на основе языковой модели задача на выбор автомобиля занимала 1,6 минуты против 3,4 минуты в обычном поиске.
- Запросов было меньше, но они были сложнее — люди сразу спрашивали о сравнении.
- Когда модель ошибалась, верных решений было 47% против 93% у обычного поиска.
- Цветовая подсветка сомнительных цифр подняла долю верных решений с 26% до 53–58%.
Ключевые выводы
3,4 → 1,6 мин
Среднее время на задачу в обычном поиске и в поиске на основе языковой модели.
В оригинале: Раздел 4.1
93% против 47%
Доля верных решений в задаче, где модель ошибалась: обычный поиск и поиск с ИИ.
В оригинале: Раздел 4.1
4,41 против 3,10
Оценка удобства поиска с ИИ и обычного поиска по 5-балльной шкале.
В оригинале: Раздел 4.1
26% → 53–58%
Доля верных решений в сложной задаче без подсветки и с подсветкой цифр низкой уверенности.
В оригинале: Раздел 5.1Поиск с ИИ и выбор товара — тема эксперимента Софии Спатариоти и коллег из Microsoft Research. Они случайно распределяли людей между обычным поиском и поиском на основе языковой модели и давали одну и ту же задачу: выбрать автомобиль для городской службы доставки. Результат оказался двойственным — быстрее и удобнее, но с опасным слепым доверием к ошибкам.
Что изучали
В первом эксперименте 90 участников пять раз выбирали между двумя внедорожниками по соотношению объёма багажника к длине машины. Одна группа пользовалась обычным поиском на основе Bing, другая — поиском на основе языковой модели GPT-3.5. Последнее задание было подобрано так, чтобы модель с большой вероятностью ошиблась (путала объём багажника со сложенными и поднятыми сиденьями). Во втором эксперименте 120 участников пользовались только поиском с ИИ, но части из них цифры, в которых модель была не уверена, подсвечивали красным.
Что получилось
| Показатель | Обычный поиск | Поиск с ИИ |
|---|---|---|
| Время на задачу | 3,4 мин | 1,6 мин |
| Запросов на задачу | 2,5 | 1,9 |
| Верные решения в обычных задачах | 92,3% | 95,3% |
| Верные решения, когда ИИ ошибся | 93% | 47% |
| Оценка удобства (из 5) | 3,10 | 4,41 |
Оценка надёжности результатов у групп не различалась: те, кто получил ошибку от модели, её не заметили. Подсветка неуверенных цифр во втором эксперименте подняла долю верных решений с 26% до 58% и 53% в двух вариантах подсветки.
Что это значит для бизнеса в России
Покупатели всё чаще задают сравнительные вопросы сразу ИИ-ассистенту — «что лучше, A или B», — и принимают ответ без перепроверки. Если модель ошибается в характеристиках вашего товара или услуги, клиент, скорее всего, не заметит этого и выберет конкурента. Отсюда практические задачи: публиковать характеристики в явном, однозначном виде, держать их одинаковыми на сайте, маркетплейсах и в справочниках и регулярно проверять ответы нейросетей по сравнительным запросам. Ограничение переноса: эксперимент на американских участниках, одной категории товаров и модели 2023 года без ссылок на источники. По сути, участники пользовались генеративным поиском в формате, близком к диалоговому поиску, и главная его слабость здесь — галлюцинация: уверенно поданная неверная цифра.
💡
Скорость против точностиПоиск с ИИ вдвое сокращает время на решение, поэтому им будут пользоваться всё больше. Тем важнее, чтобы данные о вашем продукте, на которые опирается модель, были точными.
Как проверить, что нейросети говорят о вашей компании, описано в отдельной инструкции. Роль отзывов в ответах ИИ — в статье Отзывы и нейросети.
Препринт доступен на arXiv, описание доработанной версии — на сайте Microsoft Research.
Ограничения исследования
- Одна узкая задача — сравнение двух автомобилей по одному показателю.
- Модель не умела вести диалог и не показывала ссылок на источники, как современные ИИ-поисковики.
- Участники с платформы микрозадач, а не реальные покупатели.
- Препринт; итоговая рецензированная версия на CHI 2025 может отличаться в деталях.
Как сослаться
Оригинал, ГОСТ
Sofia Eleni Spatharioti, David M. Rothschild, Daniel G. Goldstein, Jake M. Hofman. Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment // arXiv:2307.03744 (версия 2); доработанная версия — CHI 2025 под названием «Effects of LLM-based Search on Decision Making: Speed, Accuracy, and Overreliance». — 2023. — URL: https://doi.org/10.48550/arXiv.2307.03744 (дата обращения: 01.11.2026).
Оригинал, APA
Sofia Eleni Spatharioti, David M. Rothschild, Daniel G. Goldstein, Jake M. Hofman (2023). Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment. arXiv:2307.03744 (версия 2); доработанная версия — CHI 2025 под названием «Effects of LLM-based Search on Decision Making: Speed, Accuracy, and Overreliance». https://doi.org/10.48550/arXiv.2307.03744
Этот пересказ
Поиск с ИИ вдвое ускоряет выбор товара, но люди не замечают его ошибок // SERM Service. — URL: https://sermservice.ru/research/spatharioti-poisk-s-ii-i-vybor-tovara/ (дата обращения: 03.11.2026).
Частые вопросы
Насколько поиск с ИИ ускоряет выбор товара?
В эксперименте Спатариоти и коллег задача на сравнение двух автомобилей заняла 1,6 минуты против 3,4 минуты в обычном поиске, а удобство участники оценили выше.
Замечают ли люди ошибки поиска с ИИ?
Редко. Когда модель ошибалась, верных решений было 47% против 93% у обычного поиска, а оценки надёжности результатов не различались.
Что может сделать компания?
Публиковать характеристики однозначно и одинаково на всех площадках и регулярно проверять, как нейросети отвечают на сравнительные запросы о её продуктах.
Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.