🧠 LLMO

Описание компании для языковых моделей: двунаправленные факты и перефразы

Модели плохо выводят обратную связь фактов и не извлекают знание, записанное одной формулировкой. Как составить 10–20 ключевых фактов о компании и подать их в нескольких формах.

⏱ 6 мин чтения
⚡ Главное за 30 секунд
  • Описание компании для языковых моделей строится из 10–20 ключевых фактов, а не из рекламного текста.
  • Модели, усвоившие «A — это B», часто не знают, что «B — это A»: факты стоит записывать в обе стороны.
  • Знание, поданное одной формулировкой, может запомниться, но не извлекаться: нужны перефразы.
  • Четыре формата: фактовая карточка, текст «о компании», вопросы и ответы, разметка.
  • Факты должны совпадать на сайте, в карточках и справочниках.

Описание компании для языковых моделей отличается от рекламного текста «о нас». Модели не нужны эпитеты и история успеха — нужен набор точных фактов, которые она сможет связать с вопросами пользователей. Два эффекта из исследований объясняют, как такие факты подавать: проклятие обращения и зависимость от разнообразия формулировок. Из них мы в SERM Service выводим два рабочих понятия — двунаправленный факт и парафразное покрытие. Это термины агентства, а не отраслевой стандарт.

Проклятие обращения

Берглунд и соавторы показали, что модель, обученная на утверждении «A — это B», не выводит автоматически «B — это A». На реальных знаниях разрыв огромный: 79% против 33% — Доля правильных ответов GPT-4 на прямой вопрос («кто мать знаменитости») и обратный («кто сын этой женщины»). [Berglund и др., 2024]

Рецензируемое исследование 2024

Проклятие обращения: модель знает «A — это B», но не «B — это A»

Berglund и др. · International Conference on Learning Representations (ICLR 2024)

79% против 33%Доля правильных ответов GPT-4 на прямой вопрос («кто мать знаменитости») и обратный («кто сын этой женщины»).
🧠 Языковые модели (LLMO)Читать →

Для компании это значит: если в интернете много текстов вида «Компания N — сервис по ремонту кофемашин», модель может хорошо отвечать на вопрос «Что такое компания N?», но не назвать её в ответ на «Кто ремонтирует кофемашины?». Каждый факт — семантическая тройка «сущность — отношение — сущность», и модели полезно встречать её в обе стороны.

Важная оговорка из той же работы: В контексте — работает [Berglund и др., 2024] — если утверждение есть в запросе, модель выводит обратную связь. Поэтому для ассистентов с поиском проблема мягче: найденная страница попадает в контекст. Но без поиска связь живёт только в памяти модели.

Разнообразие формулировок

Аллен-Чжу и Ли на синтетических биографиях показали, что знание, поданное одной формулировкой, модель может запомнить, но не извлечь: точность ответов на вопросы в таком режиме была 0% [Allen-Zhu, Li, 2024]. Надёжное извлечение появлялось, когда факты встречались в перефразах и разном порядке.

Рецензируемое исследование 2024

Чтобы модель извлекала факт, он должен встречаться в разных формулировках

Allen-Zhu, Li · Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235, 1067–1077

0%Без разнообразия формулировок знание может быть запомнено, но не извлекаться: точность ответов на вопросы нулевая независимо от последующего…
🧠 Языковые модели (LLMO)Читать →
⚠️

Переносить на практику осторожноЭксперименты проводились на синтетических данных и небольших моделях. Они объясняют механизм, но не дают точных рецептов для коммерческих ассистентов. Мы используем их как ориентир, а не как обещанный результат.

Двунаправленный факт и парафразное покрытие

Двунаправленный факт — факт о компании, записанный в обе стороны связи.

Парафразное покрытие — число разных формулировок, в которых ключевой факт встречается в открытых источниках.

Факт Прямая форма Обратная форма Где разместить
Профиль «Компания N ремонтирует кофемашины» «Ремонтом кофемашин занимается компания N» сайт, карточки
Регион «Компания N работает в трёх областях» «В этих областях кофемашины ремонтирует компания N» страница контактов
Специализация «N — авторизованный сервис бренда M» «Авторизованный сервис бренда M в регионе — N» сайт, страница бренда
Основатель «N основал инженер К.» «Инженер К. — основатель сервиса N» страница о компании, интервью

Пример: четыре формата описания

Условный сервис по ремонту кофемашин собрал 14 ключевых фактов и подал их в четырёх форматах.

  1. Фактовая карточка — короткая таблица на странице «О компании»: название, профиль, регион, год основания, ключевые услуги, контакты. Фактовая карточка удобна и людям, и поисковикам.
  2. Текст о компании — 3–4 абзаца, где те же факты описаны своими словами, в том числе в обратной форме: «Если сломалась кофемашина бренда M, в регионе её чинит сервис N».
  3. Вопросы и ответы — раздел «Частые вопросы», где факты отвечают на вопросы клиентов: «Кто ремонтирует кофемашины M?» — «Сервис N, авторизованный партнёр бренда».
  4. Разметка — структурированные данные Organization и LocalBusiness с теми же полями.

Те же факты, другими словами, ушли в описания на площадках отзывов, в справочники и в карточки на картах.

Как отбирать факты

  • Различающие. Факты, которые отличают компанию от конкурентов и тёзок.
  • Проверяемые. Каждый факт можно подтвердить на сайте или в документах.
  • Устойчивые. Факты, которые не меняются каждый месяц. Акции и условия — не сюда.
  • Нужные клиенту. Факты, которые отвечают на реальные вопросы.
✅

Начните с вопросов клиентовВозьмите 20 частых вопросов и выпишите, какой факт о компании отвечает на каждый. Повторяющиеся факты — ваш ключевой набор.

Согласованность

Самая частая проблема — не нехватка фактов, а их расхождение. На сайте указан один год основания, в справочнике — другой, на площадке отзывов — третье название. Модель с поиском сталкивается с противоречием и выбирает версию, которая ей кажется убедительнее, а не верную. Поэтому перед публикацией новых текстов сверьте факты со всеми местами, где компания уже описана.

Как проверить результат

Через 1–2 месяца после публикации задайте ассистентам вопросы в обе стороны:

Направление Пример вопроса Что считать успехом
от компании «Чем занимается сервис N?» верный профиль и регион
к компании «Кто ремонтирует кофемашины бренда M в регионе?» компания названа среди вариантов
по атрибуту «Какой сервис является авторизованным партнёром бренда M?» компания названа первой
по человеку «Какую компанию основал инженер К.?» верная связь

Если вопросы «от компании» работают, а «к компании» нет, значит, обратные формы фактов пока слабо представлены в источниках. Если не работает ни то ни другое — компания ниже порога упоминаемости, и сначала нужны базовые источники.

Связь с сущностью

Для поисковиков и моделей компания — это сущность: объект с набором атрибутов и связей. Чем однозначнее описана сущность, тем меньше путаницы с тёзками. Помогают три вещи:

  • одна главная страница, которая описывает компанию полностью;
  • одинаковое название и одинаковые ключевые атрибуты во всех источниках;
  • ссылки из профилей на площадках на сайт и обратно.

Частые ошибки

  • Рекламные формулировки вместо фактов. «Лучший сервис в регионе» — не факт, а оценка. Модель её не проверит и, скорее всего, не повторит.
  • Факты только на одной странице. Если ключевой факт есть лишь в разделе «О компании», его парафразное покрытие минимально.
  • Повтор одной фразы. Одинаковое предложение на всех площадках не даёт разнообразия формулировок.
  • Устаревшие факты. Число сотрудников и филиалов меняется. Если факт быстро устаревает, лучше не включать его в ключевой набор.
💡

Это не замена отзывамТочное описание помогает модели узнать и правильно описать компанию. Но рекомендация в вопросах выбора по-прежнему опирается на независимые источники и отзывы.

Где разместить обратные формы фактов

Обратную форму факта сложнее всего встроить естественно: «Ремонтом кофемашин занимается компания N» звучит как начало рекламного объявления. Удобные места для неё:

  • заголовки и вводные абзацы страниц услуг — «Ремонт кофемашин бренда M: сервис N»;
  • ответы в разделе частых вопросов, где вопрос начинается с услуги;
  • описания в справочниках и на площадках, где первым словом стоит категория;
  • подписи к кейсам — «Восстановили кофемашину M для кофейни: работа сервиса N».

Так факт встречается в обе стороны без искусственных повторов в одном тексте.

Чек-лист

  • Отобраны 10–20 ключевых фактов: различающих, проверяемых, устойчивых
  • Каждый факт записан в прямой и обратной форме
  • Факты поданы в четырёх форматах: карточка, текст, вопросы, разметка
  • Формулировки на сайте и площадках разные, а суть одинакова
  • Сверены данные во всех справочниках и карточках
  • Назначена проверка ответов ассистентов через 1–2 месяца

Основы оптимизации под языковые модели — в статье LLMO: что это. Правила текста, который удобно цитировать, — в материале Как писать текст, который цитируют нейросети, а роль отзывов на собственном сайте — в статье Отзывы на сайте компании. Описание на площадках отзывов — ещё одно место для перефраза ключевых фактов; например, в профиле на Flamp.

Первоисточники: The Reversal Curse, Physics of Language Models: Part 3.1 и справка Google о структурированных данных организации в документе AI features and your website.

Частые вопросы

Что такое двунаправленный факт?

Это факт о компании, записанный в обе стороны связи: не только «компания X делает Y», но и «Y делает компания X». Так модель свяжет компанию с запросом, который начинается с услуги, а не с названия.

Зачем писать одно и то же разными словами?

Эксперименты показали, что знание, которое встречалось в обучающих данных одной формулировкой, модель может запомнить, но не суметь извлечь в ответ на вопрос. Перефразы делают факт доступным.

Не будет ли это выглядеть как переспам?

Нет, если факты разнесены по разным форматам и местам: карточка фактов, текст о компании, ответы на вопросы, описания на площадках. Повторять одну фразу в одном тексте не нужно.

Статья была полезной?