Потерянные в середине: как языковые модели читают длинные тексты

Ключевые выводы

Как нейросети читают длинный текст — вопрос, ответ на который важен для любого сайта. Нельсон Лю, Перси Лян и соавторы из Stanford University и других организаций проверили простую вещь: если дать языковой модели длинный текст, одинаково ли хорошо она использует информацию из любой его части? Оказалось, нет.

Что изучали

Модели давали вопрос и набор документов — 10, 20 или 30, — один из которых содержит ответ. Позицию нужного документа меняли: в начале, в середине, в конце. Так работают многие современные системы: сначала ищут документы, затем модель составляет ответ по найденному. Этот подход называется RAG.

Что получилось

Точность образовала U-образную кривую: модели лучше всего использовали информацию в начале и в конце контекста и хуже — в середине.

Для GPT-3.5-Turbo падение в середине доходило до 20 с лишним пунктов. В наборах из 20 и 30 документов точность при нужном документе в середине была ниже, чем вообще без документов (56,1%).

Два дополнительных вывода:

• модели с увеличенным контекстным окном не использовали контекст заметно лучше;
• увеличение числа найденных документов с 20 до 50 добавляло лишь около 1–1,5% точности.

Что это значит для бизнеса в России

Это лабораторное исследование, и перенос на поиск — наш вывод, но он хорошо согласуется с практикой GEO.

• Важное — в начало. Ключевой факт о компании или услуге лучше сформулировать в первом абзаце страницы, а не в середине длинного текста.
• Цитатный блок — короткое определение или вывод с цифрой — удобно поместить в начало раздела: модель легче его найдёт и перескажет.
• Длинные «простыни» без структуры проигрывают. Заголовки, короткие абзацы и списки помогают и человеку, и LLM.
• В отзывах тоже: главная мысль в первых строках отзыва попадает в пересказ нейросетью чаще, чем детали в середине.

Как структурировать текст для нейросетей — в статье Как писать текст, который цитируют нейросети. Как проверять результат — в материале Как измерять GEO, а как отзывы попадают в ответы Алисы — в статье Как отзывы на Яндекс Картах попадают в ответы Алисы и Нейро.

Препринт есть на arXiv; разбор статьи — в блоге Arize.

Ограничения исследования

• Модели 2023 года; современные модели могут хуже или лучше проявлять эффект.
• Лабораторная задача с вопросами и документами, а не реальный поисковик.
• Перенос на то, как нейросети читают сайты и отзывы, — наш вывод.

Как сослаться