🔬 Рецензируемое исследование 🧠 Языковые модели (LLMO)

Языковые модели плохо запоминают редкие факты: всё решает число упоминаний

Исследование ICML 2023: точность ответа модели на фактический вопрос напрямую зависит от того, сколько документов об этой сущности было в обучающих данных. Редкие факты модели почти не усваивают.

Паспорт исследования

Оригинал: Large Language Models Struggle to Learn Long-Tail Knowledge
Авторы: Nikhil Kandpal, Haikang Deng, Adam Roberts, Eric Wallace, Colin Raffel
Где и когда: Proceedings of the 40th International Conference on Machine Learning (ICML 2023), PMLR 202, 15696–15707, 2023
Тип: Рецензируемое исследование
Метод: Связывание сущностей в корпусах предобучения (The Pile, ROOTS, C4, OpenWebText, Wikipedia), подсчёт документов, где одновременно встречаются сущности вопроса и ответа, и сопоставление с точностью моделей; контрольное переобучение без части документов.
Выборка: Наборы вопросов TriviaQA и другие; семейства моделей размером до 176 млрд параметров.
Источник: doi:10.48550/arXiv.2211.08411 ↗
Сверено: 1 ноября 2026

⚡ Главное за 30 секунд

Модель тем точнее отвечает на вопрос, чем больше документов о связанных сущностях было в данных предобучения.
Связь не только корреляционная: удаление релевантных документов при обучении снижало точность.
Чтобы хорошо знать редкие факты без поиска, моделям нужно было бы вырасти примерно до квадриллиона параметров.
Поиск по внешним документам (RAG) снижает зависимость от того, что модель запомнила.

Ключевые выводы

Сильная связь

Точность ответа на вопрос коррелирует и причинно связана с числом релевантных документов в данных предобучения.

В оригинале: Abstract

≈ квадриллион параметров

Оценка размера модели, нужного для конкурентной точности на редких фактах без поиска.

В оригинале: Раздел 1 (Introduction)

RAG помогает

Дополнение модели поиском по документам снижает зависимость от количества упоминаний в обучающих данных.

В оригинале: Abstract

176 млрд параметров

Крупнейшая из изученных моделей; эффект наблюдался на всех размерах.

В оригинале: Abstract

Редкие факты в языковых моделях — тема работы Никила Кандпала, Хайкана Дэна, Адама Робертса, Эрика Уоллеса и Колина Раффела, представленной на ICML 2023. Авторы показали, от чего зависит, знает ли модель ответ на фактический вопрос: от того, сколько раз этот факт встречался в данных, на которых её обучали. Для бизнеса это объясняет, почему нейросети уверенно рассказывают о крупных брендах и путаются в небольших компаниях.

Что изучали

Исследователи взяли открытые корпуса для предобучения — The Pile, ROOTS, C4, OpenWebText и Википедию — и автоматически связали в них упоминания сущностей. Для каждого вопроса из набора TriviaQA и других посчитали, во скольких документах одновременно встречаются сущность из вопроса и сущность из ответа. Затем сравнили это число с тем, насколько точно отвечают модели разного размера. Чтобы проверить причинность, одну модель переобучили, удалив часть релевантных документов.

Что получилось

Вопрос	Результат
Связана ли точность с числом документов	да, сильная зависимость
Причинная ли это связь	да, удаление документов снижало точность
Помогает ли рост модели	помогает, но медленно
Нужный размер для редких фактов	порядка квадриллиона параметров
Помогает ли поиск по документам	да, снижает зависимость

Иначе говоря, увеличение модели не решает проблему редких знаний — её решает доступ к внешним источникам через поиск (RAG), а не наращивание обучающих данных.

Что это значит для бизнеса в России

Если о компании в интернете мало текстов, модель, скорее всего, плохо её «знает»: путает с тёзками, приписывает чужие факты или не упоминает вовсе. Для LLMO отсюда два направления работы. Первое — увеличивать число независимых документов, где название компании встречается рядом с ключевыми фактами: услугами, городом работы, основателями, продуктами. Второе — обеспечить, чтобы при ответах с поиском модель находила точные страницы: сайт, справочники, карточки. Ограничение переноса: работа про англоязычные корпуса и викторинные вопросы, а YandexGPT и GigaChat обучены на других данных.

✅

Что проверитьСпросите несколько ИИ-ассистентов о своей компании без доступа к поиску и с поиском. Разница в ответах покажет, что модель «помнит» сама, а что берёт из найденных страниц.

Что такое LLMO и чем оно отличается от SEO, разобрано в статье LLMO: что это. Как проверить знания нейросетей о компании — в пошаговой инструкции, про ИИ-репутацию — в отдельном материале.

Статья опубликована в трудах ICML 2023; препринт с данными — на arXiv.

Ограничения исследования

Изучались вопросы из общих викторинных наборов, а не вопросы о компаниях.
Подсчёт «релевантных документов» через совместное упоминание сущностей — приближение.
Модели 2022–2023 годов; у новых моделей абсолютные цифры другие, но зависимость сохраняется.
Англоязычные корпуса; распределение упоминаний в русском интернете иное.

Как сослаться

Оригинал, ГОСТ

Nikhil Kandpal, Haikang Deng, Adam Roberts, Eric Wallace, Colin Raffel. Large Language Models Struggle to Learn Long-Tail Knowledge // Proceedings of the 40th International Conference on Machine Learning (ICML 2023), PMLR 202, 15696–15707. — 2023. — URL: https://doi.org/10.48550/arXiv.2211.08411 (дата обращения: 01.11.2026).

Оригинал, APA

Nikhil Kandpal, Haikang Deng, Adam Roberts, Eric Wallace, Colin Raffel (2023). Large Language Models Struggle to Learn Long-Tail Knowledge. Proceedings of the 40th International Conference on Machine Learning (ICML 2023), PMLR 202, 15696–15707. https://doi.org/10.48550/arXiv.2211.08411

Этот пересказ

Языковые модели плохо запоминают редкие факты: всё решает число упоминаний // SERM Service. — URL: https://sermservice.ru/research/kandpal-redkie-fakty-v-modelyah/ (дата обращения: 03.11.2026).

Частые вопросы

Почему языковые модели плохо знают малоизвестные компании?

Кандпал и соавторы показали, что точность ответа зависит от числа документов о сущности в обучающих данных. О небольших компаниях текстов мало, и модель их почти не усваивает.

Решит ли проблему более крупная модель?

Только отчасти. По оценке авторов, для хорошего знания редких фактов без поиска понадобились бы модели порядка квадриллиона параметров.

Что может сделать компания?

Увеличивать число независимых публикаций с точными фактами о себе и следить, чтобы при ответах с поиском модель находила актуальные страницы — сайт, справочники, карточки.

Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.