🔬 Рецензируемое исследование 🧠 Языковые модели (LLMO)

Чтобы модель извлекала факт, он должен встречаться в разных формулировках

Исследование ICML 2024 на синтетических биографиях: модель может запомнить текст, но не суметь ответить на вопрос по нему. Чтобы знание извлекалось, нужны перефразирования и разный порядок фраз в данных.

Паспорт исследования

Оригинал: Physics of Language Models: Part 3.1, Knowledge Storage and Extraction
Авторы: Zeyuan Allen-Zhu, Yuanzhi Li
Где и когда: Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 1067–1077, 2024
Тип: Рецензируемое исследование
Метод: Контролируемые эксперименты: предобучение моделей на синтетических биографиях с разной степенью разнообразия формулировок, дообучение на вопросах для части людей, проверка на остальных; линейное зондирование внутренних представлений.
Выборка: Синтетический набор из 100 тыс. биографий (дата и город рождения, специальность и другие атрибуты).
Источник: doi:10.48550/arXiv.2309.14316 ↗
Сверено: 1 ноября 2026

⚡ Главное за 30 секунд

Запомнить текст и уметь отвечать по нему — разные вещи для языковой модели.
Без разнообразия формулировок в данных точность извлечения знаний могла быть нулевой даже после дообучения на вопросах.
Перефразирование и перестановка предложений в обучающих данных делают знание извлекаемым.
Тогда факты «привязываются» к имени сущности во внутреннем представлении модели.

Ключевые выводы

Без разнообразия формулировок знание может быть запомнено, но не извлекаться: точность ответов на вопросы нулевая независимо от последующего дообучения.

В оригинале: Abstract (версия 2)

Нужна аугментация

Чтобы знание надёжно извлекалось, его нужно дополнять перефразированием и перестановкой предложений при предобучении.

В оригинале: Abstract

Привязка к имени

При разнообразных данных атрибуты человека почти линейно кодируются в представлении его имени; без этого они размазаны по тексту.

В оригинале: Abstract; раздел 5

100 тыс. биографий

Размер синтетического набора данных в базовых экспериментах.

В оригинале: Раздел 1 (версия 1)

Разные формулировки факта для ИИ — ключевая идея работы Цзэюаня Аллен-Чжу и Юаньчжи Ли, опубликованной в трудах ICML 2024. Авторы показали, что языковая модель может дословно запомнить текст и при этом не суметь ответить на простой вопрос по нему. Чтобы знание стало извлекаемым, оно должно встречаться в данных в разных пересказах.

Что изучали

Чтобы точно знать, что видела модель, авторы создали синтетический набор из 100 тыс. биографий вымышленных людей: дата и город рождения, специальность и другие атрибуты. Модели предобучали на этих биографиях в разных вариантах: каждая биография в одной формулировке или в нескольких пересказах, с одинаковым или переставленным порядком предложений. Затем модель дообучали отвечать на вопросы о части людей и проверяли, сможет ли она отвечать о тех, кого не было в вопросах. С помощью линейного зондирования авторы посмотрели, где внутри модели хранятся факты.

Что получилось

Условие предобучения	Извлечение знаний
Одна формулировка на человека	запомнено, но не извлекается, точность вплоть до 0%
Перефразирование и перестановка предложений	знания извлекаются надёжно
Где хранится факт при разнообразных данных	в представлении имени человека
Где хранится факт без разнообразия	размазан по словам исходного текста

Авторы рекомендуют разработчикам моделей переписывать данные для предобучения с помощью вспомогательных моделей, чтобы добавить разнообразие.

Что это значит для бизнеса в России

Компания не управляет обучением моделей, но влияет на то, какие тексты о ней есть в интернете. Если ключевые факты — что делает компания, где работает, кто основатель, чем отличается — описаны только одной фразой на собственном сайте, модели труднее извлечь их как знание о бренде. Полезно, чтобы те же факты в разных формулировках встречались в описании на сайте, справочниках, интервью, отраслевых публикациях и карточках, при этом оставаясь согласованными. Ограничение переноса: эксперименты на синтетических биографиях и небольших моделях, без проверки на русском языке. В эксперименте знание о каждой сущности — вымышленном человеке — проверяли после дообучения на вопросах, и результат зависел только от того, как факты были поданы в обучающих данных.

💡

Разнообразие ≠ противоречияРечь о разных формулировках одних и тех же фактов. Если факты в разных источниках расходятся, модель получает конфликт, а не подкрепление.

Что такое LLMO, разобрано в статье LLMO: что это, как писать тексты для цитирования нейросетями — в отдельном материале. Связанный эффект — проклятие обращения: факт, записанный в одну сторону, не извлекается в другую.

Статья опубликована в трудах ICML 2024; все версии препринта — на arXiv.

Ограничения исследования

Синтетические данные и модели небольшого размера, а не реальные коммерческие системы.
Биографии устроены проще, чем тексты о компаниях.
Выводы касаются предобучения, на которое бизнес влияет только косвенно — через тексты в интернете.
Перенос на русский язык не проверялся.

Как сослаться

Оригинал, ГОСТ

Zeyuan Allen-Zhu, Yuanzhi Li. Physics of Language Models: Part 3.1, Knowledge Storage and Extraction // Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 1067–1077. — 2024. — URL: https://doi.org/10.48550/arXiv.2309.14316 (дата обращения: 01.11.2026).

Оригинал, APA

Zeyuan Allen-Zhu, Yuanzhi Li (2024). Physics of Language Models: Part 3.1, Knowledge Storage and Extraction. Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 1067–1077. https://doi.org/10.48550/arXiv.2309.14316

Этот пересказ

Чтобы модель извлекала факт, он должен встречаться в разных формулировках // SERM Service. — URL: https://sermservice.ru/research/allen-zhu-li-raznye-formulirovki-fakta/ (дата обращения: 03.11.2026).

Частые вопросы

Почему для ИИ важны разные формулировки факта?

Аллен-Чжу и Ли показали, что без перефразирований модель может запомнить текст, но не суметь ответить на вопрос по нему. Разнообразие формулировок делает знание извлекаемым.

Может ли компания повлиять на это?

Косвенно — через тексты о себе в интернете. Полезно, чтобы ключевые факты о компании встречались в разных источниках и формулировках, оставаясь согласованными.

Не навредят ли разные формулировки?

Нет, если факты совпадают. Вредны расхождения: разные даты, адреса или описания услуг создают для модели конфликт данных.

Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.