Проклятие обращения

Проклятие обращения (Reversal Curse) — эффект, описанный в 2023–2024 годах группой Лукаса Берглунда. Если модель при обучении видела утверждение вида «Иван Петров — основатель компании X», она уверенно отвечает на вопрос «Кто такой Иван Петров?», но заметно хуже — на вопрос «Кто основал компанию X?». Знание записывается в одном направлении.

Как это проверяли

Модели дообучали на вымышленных фактах и спрашивали в обратном порядке: вероятность правильного ответа не превышала вероятность случайного имени. На реальных знаменитостях GPT-4 в одном направлении отвечал правильно в 79% случаев, в обратном — в 33%.

Почему это важно для LLMO

Нейросеть может «знать» факт о компании только в той формулировке, в которой он чаще встречался. Если в источниках пишут «бренд X принадлежит компании Y», но почти никогда — «компании Y принадлежит бренд X», ответ на второй вопрос будет хуже. Поэтому ключевые связи о бренде полезно формулировать в обе стороны: на сайте, в справочниках, в публикациях.

Ограничение

Если факт находится прямо в запросе или в найденных поиском документах, модель делает обратный вывод без труда. Проклятие касается знаний, усвоенных при обучении.

Подробно, с примером и чек-листом, — в статье Описание компании для языковых моделей: двунаправленные факты и перефразы.