🔬 Рецензируемое исследование ✨ ИИ и поиск

Насколько можно доверять ссылкам в ответах нейросетей: исследование Стэнфорда

Статья Findings of EMNLP 2023: аудит четырёх генеративных поисковиков показал, что только половина утверждений в ответах полностью подтверждается указанными источниками.

Паспорт исследования

Оригинал: Evaluating Verifiability in Generative Search Engines
Авторы: Nelson F. Liu, Tianyi Zhang, Percy Liang
Где и когда: Findings of EMNLP 2023, 2023
Тип: Рецензируемое исследование
Метод: Аудит с участием людей-оценщиков: каждое утверждение ответа сверялось с указанными источниками.
Выборка: 1450 запросов из 12 наборов данных; поисковики Bing Chat, NeevaAI, perplexity.ai и YouChat; 34 оценщика.
Рынок и период: Англоязычный веб, февраль–март 2023
Источник: ar5iv.labs.arxiv.org ↗
Сверено: 1 ноября 2026

⚡ Главное за 30 секунд

Авторы проверили ответы четырёх генеративных поисковиков на 1450 запросов.
Ответы выглядят гладко и полезно: около 4,5 балла из 5 по оценкам людей.
Но только 51,5% утверждений полностью подтверждались указанными источниками, а 74,5% ссылок действительно подтверждали своё утверждение.
Чем ближе ответ к тексту источника, тем точнее ссылки, но тем меньше полезность — компромисс почти полный.

Ключевые выводы

51,5%

Доля утверждений в ответах, полностью подтверждённых указанными источниками (полнота цитирования).

В оригинале: Abstract; Section 4

74,5%

Доля ссылок, которые действительно подтверждают связанное с ними утверждение (точность цитирования).

В оригинале: Abstract; Section 4

4,48 / 4,50

Средние оценки гладкости и воспринимаемой полезности ответов по пятибалльной шкале.

В оригинале: Section 4

r = −0,96

Сильная обратная связь между точностью цитирования и воспринимаемой полезностью ответа.

В оригинале: Section 5

Точность ответов нейросетей авторы проверяли не по впечатлению, а по каждой ссылке. Нельсон Лю, Тяньи Чжан и Перси Лян из Stanford University провели одну из первых проверок того, насколько ответам генеративных поисковиков можно верить. Они не спрашивали, нравится ли людям ответ, — они проверяли, подтверждают ли ссылки то, что написано.

Что изучали

Авторы задали 1450 вопросов четырём системам того времени: Bing Chat, NeevaAI, perplexity.ai и YouChat. Затем 34 оценщика проверяли каждое утверждение: есть ли у него ссылка и подтверждает ли источник по ссылке то, что сказано.

Две метрики:

полнота цитирования — доля утверждений, которые полностью подтверждены источниками;
точность цитирования — доля ссылок, которые действительно подтверждают своё утверждение.

Что получилось

Показатель	Значение
Гладкость ответа	4,48 из 5
Воспринимаемая полезность	4,50 из 5
Утверждения, подтверждённые источниками	51,5%
Ссылки, подтверждающие утверждение	74,5%

Ответы читаются уверенно и кажутся полезными, но половина утверждений не подкреплена источниками полностью, а каждая четвёртая ссылка не подтверждает то, к чему приложена. Между системами была большая разница: у perplexity.ai полнота была самой высокой, у Bing Chat — точность.

Неожиданный вывод — компромисс между точностью и полезностью (корреляция −0,96). Системы, которые почти дословно пересказывают источник, ссылаются точнее, но такие ответы чаще не попадают в суть вопроса.

Что это значит для бизнеса в России

Галлюцинация — уверенный, но неверный ответ — реальный риск. Нейросеть может приписать компании чужой адрес, услугу или отзыв, даже если поставит ссылку.
Чем проще модели найти точное подтверждение, тем меньше ошибок. Факты о компании на сайте и в карточках должны быть сформулированы ясно и одинаково.
Цитатный блок — короткий фрагмент с определением, цифрой и источником — нейросети берут охотнее и пересказывают точнее.
Ссылки на источники в собственных текстах повышают доверие и к вам как к источнику ответа: это подтверждает и исследование GEO.
Регулярно проверяйте, что нейросети говорят о вашей компании, и исправляйте ошибки в первоисточниках.

💡

Контекст 2026–2027 годовСистемы с 2023 года стали точнее, но проблема проверяемости никуда не делась. Вывод «гладкий ответ не значит точный» по-прежнему актуален.

Как писать тексты, которые нейросеть пересказывает точно, — в статье Как писать текст, который цитируют нейросети. Как отзывы попадают в ответы ИИ — в материале Отзывы и нейросети, а что нейросети говорят о работодателях — в статье HR-бренд в ответах нейросетей.

Статья опубликована в ACL Anthology; PDF есть на сайте Stanford.

Ограничения исследования

Аудит проведён в начале 2023 года; системы с тех пор существенно изменились.
Два из четырёх сервисов (NeevaAI, YouChat в прежнем виде) уже не работают так, как тогда.
Только английский язык; русскоязычные системы не проверялись.

Как сослаться

Оригинал, ГОСТ

Nelson F. Liu, Tianyi Zhang, Percy Liang. Evaluating Verifiability in Generative Search Engines // Findings of EMNLP 2023. — 2023. — URL: https://ar5iv.labs.arxiv.org/html/2304.09848 (дата обращения: 01.11.2026).

Оригинал, APA

Nelson F. Liu, Tianyi Zhang, Percy Liang (2023). Evaluating Verifiability in Generative Search Engines. Findings of EMNLP 2023. https://ar5iv.labs.arxiv.org/html/2304.09848

Этот пересказ

Насколько можно доверять ссылкам в ответах нейросетей: исследование Стэнфорда // SERM Service. — URL: https://sermservice.ru/research/liu-zhang-liang-proveryaemost-otvetov/ (дата обращения: 03.11.2026).

Частые вопросы

Значит ли это, что ответам нейросетей нельзя верить?

Нет, но гладкость ответа ещё не означает его точность. В аудите 2023 года половина утверждений не была полностью подтверждена источниками. Важные факты стоит проверять по ссылкам.

Как это касается компаний?

Нейросеть может ошибиться в фактах о компании, даже поставив ссылку. Поэтому важно, чтобы на сайте и в карточках информация была ясной, одинаковой и легко проверяемой.

Актуальны ли данные 2023 года?

Системы улучшились, и точные цифры устарели. Но сама проблема проверяемости ответов и компромисс между точностью и полезностью остаются.

Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.