Безопасно размещаем отзывы и Работаем с репутацией!
Когда не доверять модели: о малоизвестных сущностях ИИ знает хуже
Исследование ACL 2023 на датасете PopQA из 14 тыс. вопросов: модели плохо отвечают о непопулярных сущностях, рост модели почти не помогает, а поиск по документам — помогает сильно.
Паспорт исследования
- Оригинал
- When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
- Авторы
- Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Daniel Khashabi, Hannaneh Hajishirzi
- Где и когда
- Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 9802–9822, 2023
- Тип
- Рецензируемое исследование
- Метод
- Зондирование знаний 10 моделей (GPT-Neo, OPT, GPT-3) и 4 способов дополнения поиском на датасете PopQA, построенном из троек Wikidata с оценкой популярности сущностей.
- Выборка
- PopQA — 14 тыс. вопросов; дополнительно набор EntityQuestions.
- Источник
- doi:10.18653/v1/2023.acl-long.546 ↗
- Сверено
⚡ Главное за 30 секунд
- Точность ответов моделей резко падает для сущностей, о которых мало читают и пишут.
- Увеличение модели улучшает знания о популярных сущностях, но почти не помогает с редкими.
- Небольшая модель с поиском по документам обходит в разы более крупные модели без поиска на редких вопросах.
- Включение поиска только для непопулярных сущностей повышает точность до 10% и экономит ресурсы.
Ключевые выводы
14 тыс. вопросов
Размер датасета PopQA с сущностями разной популярности.
В оригинале: Abstract
Хвост не учится
Масштабирование улучшает запоминание популярных фактов, но заметно не помогает с фактами о редких сущностях.
В оригинале: Abstract
Поиск > размер
Модели с поиском по документам существенно превосходят на порядки более крупные модели без поиска.
В оригинале: Abstract
до +10%
Прирост точности на PopQA от адаптивного поиска, включаемого только для непопулярных сущностей.
В оригинале: Раздел 1 (Introduction)Популярность сущности и точность ИИ — так можно кратко описать предмет работы Алекса Маллена, Акари Асаи и соавторов из Вашингтонского университета и Института Аллена для ACL 2023. Название статьи — «Когда не доверять языковым моделям». Главный ответ: когда речь идёт о малоизвестных людях, местах и организациях.
Что изучали
Авторы создали датасет PopQA из 14 тыс. вопросов на основе троек Wikidata («где родился…», «кто основал…», «в какой стране находится…») и для каждой сущности оценили популярность по числу просмотров её страницы в Википедии. Десять моделей разных размеров — от GPT-Neo и OPT до GPT-3 — отвечали на вопросы сами и с подключением поиска по документам. Затем авторы предложили адаптивный вариант: включать поиск только для вопросов о непопулярных сущностях.
Что получилось
| Вопрос | Результат |
|---|---|
| Как точность зависит от популярности | падает для редких сущностей |
| Помогает ли рост модели | для популярных — да, для редких — почти нет |
| Модель с поиском против крупной модели без поиска | первая выигрывает на редких вопросах |
| Адаптивный поиск | до +10% точности и меньше затрат |
Авторы отмечают и обратную сторону: для популярных сущностей найденные документы иногда сбивают модель, которая и так знала верный ответ.
Что это значит для бизнеса в России
Большинство компаний для языковой модели — «непопулярные сущности». Если ассистент отвечает о них по памяти, он часто ошибается или выдумывает — так возникает галлюцинация. Если подключён поиск по документам (RAG), ответ зависит от того, какие документы о компании найдутся. Отсюда задачи LLMO: обеспечить, чтобы по названию компании находились точные и согласованные страницы — сайт, карточки на картах, профили в справочниках, — и чтобы они были в Википедии или Wikidata, если компания соответствует их критериям значимости. Ограничение переноса: англоязычный датасет и модели 2023 года.
💡
Проверка популярностиЕсли о компании нет страниц в справочниках и энциклопедиях, модель почти наверняка относится к ней как к редкой сущности — и без поиска будет отвечать неточно.
Что такое LLMO, разобрано в статье LLMO: что это, а как отзывы влияют на ответы нейросетей — в материале Отзывы и нейросети. Близкий результат на других данных получили Кандпал и соавторы.
Статья опубликована в ACL Anthology; код и датасет PopQA — в репозитории авторов.
Ограничения исследования
- Вопросы построены по шаблонам из Wikidata и проще реальных вопросов клиентов.
- Популярность оценивалась по просмотрам Википедии, что не всегда отражает известность компании.
- Модели 2022–2023 годов; современные системы чаще используют поиск по умолчанию.
- Только английский язык.
Как сослаться
Оригинал, ГОСТ
Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Daniel Khashabi, Hannaneh Hajishirzi. When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 9802–9822. — 2023. — URL: https://doi.org/10.18653/v1/2023.acl-long.546 (дата обращения: 01.11.2026).
Оригинал, APA
Alex Mallen, Akari Asai, Victor Zhong, Rajarshi Das, Daniel Khashabi, Hannaneh Hajishirzi (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 9802–9822. https://doi.org/10.18653/v1/2023.acl-long.546
Этот пересказ
Когда не доверять модели: о малоизвестных сущностях ИИ знает хуже // SERM Service. — URL: https://sermservice.ru/research/mallen-populyarnost-sushchnosti-i-tochnost/ (дата обращения: 03.11.2026).
Частые вопросы
Как популярность сущности влияет на точность ИИ?
По данным Маллена и соавторов, модели заметно хуже отвечают о малоизвестных людях, местах и организациях, а рост размера модели почти не помогает.
Что помогает модели отвечать о редких сущностях?
Поиск по документам. Небольшая модель с поиском обходила на редких вопросах модели в разы крупнее, а адаптивный поиск повышал точность до 10%.
Что из этого следует для компании?
Нужно, чтобы по её названию находились точные и согласованные страницы: сайт, карточки, справочники. Тогда ассистент с поиском опирается на них, а не на догадки.
Это пересказ, а не перевод: точные формулировки, таблицы и методику смотрите в оригинале по ссылке в паспорте. Нашли неточность — напишите нам, мы сверим и исправим.