Безопасно размещаем отзывы и Работаем с репутацией!
Что убеждает языковую модель: релевантность важнее ссылок и стиля
Исследование ACL 2024 на датасете ConflictingQA: языковые модели выбирают ответ по тому, насколько текст прямо отвечает на вопрос, и почти не учитывают научные ссылки и нейтральный тон.
Паспорт исследования
- Оригинал
- What Evidence Do Language Models Find Convincing?
- Авторы
- Alexander Wan, Eric Wallace, Dan Klein
- Где и когда
- Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 7468–7484, 2024
- Тип
- Рецензируемое исследование
- Метод
- Датасет ConflictingQA: спорные вопросы и реальные веб-документы с противоположными ответами; анализ доли «побед» каждого абзаца и контрфактические правки стиля и релевантности.
- Выборка
- Спорные вопросы из 136 категорий с наборами реальных веб-абзацев, поддерживающих ответы «да» и «нет».
- Источник
- doi:10.18653/v1/2024.acl-long.403 ↗
- Сверено
⚡ Главное за 30 секунд
- Модели с поиском выбирают между противоречивыми источниками в основном по релевантности текста вопросу.
- Научные ссылки и нейтральный тон, важные для людей, на выбор модели почти не влияют.
- Правки, повышающие релевантность (например, прямой ответ в начале), заметно повышают «убедительность» абзаца.
- Датасет охватывает спорные вопросы из 136 тематических категорий.
Ключевые выводы
Релевантность решает
Модели сильнее всего опираются на то, насколько сайт соответствует запросу.
В оригинале: Abstract
Ссылки не помогают
Научные ссылки, нейтральный тон и другие стилистические признаки, важные людям, модели в основном игнорируют.
В оригинале: Abstract; Figure 2
Рост «побед»
Правки, которые повышают релевантность при минимальном изменении стиля, существенно увеличивают долю случаев, когда модель соглашается с абзацем.
В оригинале: Раздел 5, Figure 2
136 категорий
Тематический охват спорных вопросов датасета.
В оригинале: Table 1Что убеждает языковую модель, когда источники противоречат друг другу, — вопрос, на который ответили Александр Ван, Эрик Уоллес и Дэн Кляйн из Беркли в работе для ACL 2024. Их вывод неожиданный для тех, кто пишет «экспертный» контент: модели выбирают не самый авторитетный по форме текст, а тот, который прямее отвечает на вопрос.
Что изучали
Авторы собрали датасет ConflictingQA: спорные вопросы вроде «связан ли аспартам с раком» и реальные абзацы из веба с противоположными ответами — с разными фактами, аргументами и стилем. Модели давали вопрос и набор абзацев, как в системах поиска с генерацией ответа (RAG), и смотрели, с каким абзацем она соглашается. Затем тексты меняли: добавляли научные ссылки, делали тон нейтральнее, вставляли формулировку вопроса или прямой ответ — и измеряли, как меняется доля «побед» абзаца.
Что получилось
| Правка текста | Влияние на выбор модели |
|---|---|
| Научные ссылки | слабое или нулевое |
| Нейтральный тон | слабое, иногда отрицательное |
| Повышение релевантности запросу | сильный рост |
| Контрольная фраза «спасибо за чтение» | почти нет эффекта |
Модели опираются на релевантность и игнорируют признаки, по которым надёжность текста оценивают люди. Авторы делают вывод о важности качества корпуса для поиска с генерацией: отсеивать недостоверные тексты должна система, а не модель.
Что это значит для бизнеса в России
Для GEO это аргумент писать тексты, которые прямо отвечают на вопрос клиента в первых строках: «сколько длится…», «чем отличается…», «можно ли…». Формальные признаки экспертности сами по себе модель не убеждают — нужна точная формулировка ответа. Обратная сторона: модель может согласиться с релевантным, но неверным текстом конкурента или недобросовестного автора, поэтому мониторинг ответов о бренде обязателен. Ограничение переноса: эксперименты на английском языке и на моделях 2023–2024 годов; поведение YandexGPT и GigaChat не проверялось.
⚠️
Не путать с отказом от источниковСсылки и нейтральный тон по-прежнему нужны людям и поисковым системам на этапе отбора документов. Исследование говорит лишь о том, что на последнем шаге модель решает по релевантности.
Как писать тексты, которые цитируют нейросети, — в отдельной статье. Про отличия подходов — GEO, AEO и LLMO: разница. Как модели работают с длинным контекстом, показало исследование «Lost in the middle».
Статья опубликована в ACL Anthology; препринт с обновлениями — на arXiv.
Ограничения исследования
- Изучались спорные вопросы с ответом «да/нет», а не вопросы о выборе компании.
- Тестировались открытые и коммерческие модели 2023–2024 годов; новые версии могут вести себя иначе.
- Модель получала готовый набор абзацев, без этапа поиска и ранжирования.
- Англоязычные тексты; для русского языка результаты не проверялись.
Как сослаться
Оригинал, ГОСТ
Alexander Wan, Eric Wallace, Dan Klein. What Evidence Do Language Models Find Convincing? // Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 7468–7484. — 2024. — URL: https://doi.org/10.18653/v1/2024.acl-long.403 (дата обращения: 01.11.2026).
Оригинал, APA
Alexander Wan, Eric Wallace, Dan Klein (2024). What Evidence Do Language Models Find Convincing?. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 7468–7484. https://doi.org/10.18653/v1/2024.acl-long.403
Этот пересказ
Что убеждает языковую модель: релевантность важнее ссылок и стиля // SERM Service. — URL: https://sermservice.ru/research/wan-wallace-klein-chto-ubezhdaet-model/ (дата обращения: 03.11.2026).
Частые вопросы
Что убеждает языковую модель при противоречивых источниках?
По данным Вана, Уоллеса и Кляйна, главным образом релевантность текста вопросу. Научные ссылки и нейтральный тон на выбор модели почти не влияют.
Значит ли это, что ссылки на исследования не нужны?
Нет. Они важны для людей и для этапа отбора документов поиском. Но на финальном шаге модель выбирает тот абзац, который прямее отвечает на вопрос.
Как применить вывод в GEO?
Давать прямой ответ на вопрос клиента в начале страницы или раздела и регулярно проверять, чьи тексты модель использует в ответах о вашем бренде.
Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.