Безопасно размещаем отзывы и Работаем с репутацией!
Безопасно размещаем отзывы и Работаем с репутацией!
🧠 Языковые модели (LLMO)
Как языковые модели запоминают факты о компаниях, когда ошибаются и как реагируют на противоречивые данные.
Исследования темы
5 исследований
Рецензируемое исследование
2024
Проклятие обращения: модель знает «A — это B», но не «B — это A»
Berglund и др. · International Conference on Learning Representations (ICLR 2024)
79% против 33%Доля правильных ответов GPT-4 на прямой вопрос («кто мать знаменитости») и обратный («кто сын этой женщины»).
Рецензируемое исследование
2024
Чтобы модель извлекала факт, он должен встречаться в разных формулировках
Allen-Zhu, Li · Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 1067–1077
0%Без разнообразия формулировок знание может быть запомнено, но не извлекаться: точность ответов на вопросы нулевая независимо от последующего…
Рецензируемое исследование
2024
Конфликт знаний: модель принимает связные внешние данные, но ищет подтверждение
Xie и др. · International Conference on Learning Representations (ICLR 2024), spotlight
ХамелеонМодели могут быть очень восприимчивы к внешним данным, противоречащим их памяти, если те связны и убедительны.
Рецензируемое исследование
2023
Языковые модели плохо запоминают редкие факты: всё решает число упоминаний
Kandpal и др. · Proceedings of the 40th International Conference on Machine Learning (ICML 2023), PMLR 202, 15696–15707
Сильная связьТочность ответа на вопрос коррелирует и причинно связана с числом релевантных документов в данных предобучения.
Рецензируемое исследование
2023
Когда не доверять модели: о малоизвестных сущностях ИИ знает хуже
Mallen и др. · Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 9802–9822
14 тыс. вопросовРазмер датасета PopQA с сущностями разной популярности.
Нужна помощь с репутацией?Разберём вашу ситуацию и подскажем, с чего начать. Консультация бесплатная.
Получить консультацию →