🔬 Рецензируемое исследование 🧠 Языковые модели (LLMO)

Конфликт знаний: модель принимает связные внешние данные, но ищет подтверждение

Исследование ICLR 2024: языковые модели легко принимают внешние данные, противоречащие их памяти, если те связны и убедительны, но при смешанных источниках цепляются за то, что совпадает с их знаниями.

Паспорт исследования

Оригинал: Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts
Авторы: Jian Xie, Kai Zhang, Jiangjie Chen, Renze Lou, Yu Su
Где и когда: International Conference on Learning Representations (ICLR 2024), spotlight, 2024
Тип: Рецензируемое исследование
Метод: Систематическое извлечение «памяти» моделей по вопросам, построение противоречащих ей связных текстов и серия контролируемых экспериментов с одним или несколькими внешними источниками.
Выборка: Вопросы из наборов фактических вопросов; несколько закрытых и открытых моделей.
Источник: doi:10.48550/arXiv.2305.13300 ↗
Сверено: 1 ноября 2026

⚡ Главное за 30 секунд

Модели могут принять внешние данные, противоречащие тому, что они «помнят», если эти данные связны и убедительны.
Если среди найденных источников есть хоть один, совпадающий с памятью модели, она склонна выбрать его.
Это проявление предвзятости подтверждения — похоже на поведение людей.
Для бизнеса: устаревшие факты о компании в интернете мешают модели принять актуальные.

Ключевые выводы

Хамелеон

Модели могут быть очень восприимчивы к внешним данным, противоречащим их памяти, если те связны и убедительны.

В оригинале: Abstract

Упрямство

Если среди внешних данных есть информация, совпадающая с памятью модели, она проявляет сильную предвзятость подтверждения, несмотря на противоречащие источники.

В оригинале: Abstract

Конфликт знаний в языковых моделях — ситуация, когда то, что модель «помнит» с обучения, расходится с документами, которые она получила из поиска. Цзянь Се, Кай Чжан, Цзянцзе Чэнь, Жэньцзэ Лоу и Юй Су изучили, как модели ведут себя в таком конфликте, и получили на первый взгляд противоречивый результат, отражённый в названии: «Гибкий хамелеон или упрямый ленивец».

Что изучали

Авторы сначала аккуратно извлекали из моделей их собственный ответ на фактический вопрос — то, что они знают по памяти. Затем строили связный и правдоподобный текст, который этому ответу противоречит, — «контрпамять». Модели получали вопрос вместе с одним таким текстом или с набором текстов, где были и противоречащие, и совпадающие с их памятью. Исследователи смотрели, какой ответ выберет модель.

Что получилось

Ситуация	Поведение модели
Один связный текст против памяти	часто принимает внешние данные
Внешний текст бессвязный или неубедительный	держится за память
Смешанные источники, часть совпадает с памятью	выбирает совпадающее, предвзятость подтверждения

Получается двойственная картина: модель — «хамелеон», если внешние данные убедительны и однородны, и «упрямец», если среди них есть то, что подтверждает её прежние знания.

Что это значит для бизнеса в России

Для управления ИИ-репутацией это важный механизм. Если компания сменила адрес, название или условия, а в интернете остались старые страницы с прежними данными, ассистент с поиском может найти и новые, и старые источники — и выбрать те, что совпадают с его памятью, то есть устаревшие. Поэтому обновление фактов должно быть системным: на сайте, в карточках на картах, справочниках, маркетплейсах, а устаревшие страницы лучше исправить или удалить. Ограничение переноса: эксперименты на англоязычных вопросах и моделях 2023 года. Такое расхождение — фактовый конфликт: разные источники называют о компании разные факты, и модель с поиском (RAG) выбирает между ними.

⚠️

Старые данные «перевешивают»Если в найденных источниках есть и старые, и новые факты о компании, модель склонна выбрать те, что совпадают с её прежними знаниями. Убирайте устаревшие упоминания.

Почему ИИ-репутацию нужно отслеживать, объясняет статья ИИ-репутация: что это, а как проверить ответы — пошаговая инструкция. Что именно убеждает модель при выборе источника, изучали Ван, Уоллес и Кляйн.

Страница доклада — на сайте ICLR 2024; материалы и код — в репозитории авторов.

Ограничения исследования

Аннотация и основные выводы качественные; числовые результаты зависят от модели и набора вопросов.
Противоречащие тексты генерировались, а не брались из реального интернета.
Модели 2023 года; новые системы могут иначе взвешивать источники.
Только английский язык.

Как сослаться

Оригинал, ГОСТ

Jian Xie, Kai Zhang, Jiangjie Chen, Renze Lou, Yu Su. Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts // International Conference on Learning Representations (ICLR 2024), spotlight. — 2024. — URL: https://doi.org/10.48550/arXiv.2305.13300 (дата обращения: 01.11.2026).

Оригинал, APA

Jian Xie, Kai Zhang, Jiangjie Chen, Renze Lou, Yu Su (2024). Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts. International Conference on Learning Representations (ICLR 2024), spotlight. https://doi.org/10.48550/arXiv.2305.13300

Этот пересказ

Конфликт знаний: модель принимает связные внешние данные, но ищет подтверждение // SERM Service. — URL: https://sermservice.ru/research/xie-konflikt-znanij-v-modelyah/ (дата обращения: 03.11.2026).

Частые вопросы

Что такое конфликт знаний в языковых моделях?

Это расхождение между тем, что модель помнит с обучения, и документами, которые она получила из поиска. Се и соавторы изучили, какую сторону модель выбирает.

Принимает ли модель новую информацию о компании?

Если новые данные связны и убедительны — часто да. Но если среди источников есть и старые, совпадающие с её памятью, модель склонна выбрать их.

Что делать после смены адреса или названия?

Обновлять данные системно — на сайте, в карточках, справочниках и на маркетплейсах — и исправлять или удалять устаревшие страницы, чтобы модель не находила старые факты.

Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.