Двухрежимная проба: как найти источник ошибки в ответе ИИ о компании

Диагностика ответов ИИ о компании нужна, когда нейросеть называет чужой адрес, приписывает устаревшую услугу или путает бренд с тёзкой. Первая реакция — «исправить сайт», но часто ошибка живёт не на сайте. Метод, который мы называем двухрежимной пробой, помогает за 30–40 минут понять, где источник проблемы: в памяти модели или в страницах, которые она находит через поиск.

Два источника знаний модели

Языковая модель отвечает из двух мест.

• Память (параметрические знания). То, что модель усвоила при обучении. Мы называем это нейропамятью бренда: совокупность фактов о компании, которые модель «помнит» без доступа к интернету. Обновляется только с выходом новой версии модели.
• Найденные документы. Если у ассистента включён поиск, он подкладывает в ответ свежие страницы. Эти данные меняются быстро — вместе с источниками.

Исследователи давно разделяют эти два режима. Точность ответа по памяти зависит от того, сколько документов о сущности было в обучающих данных, — эту зависимость показали Кандпал и соавторы. Для малоизвестных компаний модели знают особенно мало, а подключение поиска заметно помогает: адаптивный поиск в работе Маллена и соавторов давал прирост точности до +10% [Mallen и др., 2023].

Как провести пробу

1. Соберите вопросы. 10–20 проверочных запросов о фактах компании: чем занимается, где работает, кто руководит, какой график, какие услуги, что пишут в отзывах.
2. Выберите ассистентов. Минимум два, лучше три: российские и один зарубежный с поиском.
3. Режим без поиска. Задайте все вопросы, отключив поиск. Если переключателя нет, попросите отвечать только по собственным знаниям и убедитесь, что в ответе нет ссылок.
4. Режим с поиском. Задайте те же вопросы с включённым поиском, сохраните ответы и ссылки на источники.
5. Сверьте с правдой. Для каждого ответа отметьте: верно, неверно, нет данных.
6. Заполните таблицу диагноза. По каждой паре ответов выберите строку из таблицы ниже.
7. Составьте список правок. Отдельно — источники для исправления и вопросы для повторной проверки.

Как читать результат

Порог упоминаемости — условное число независимых документов о компании, после которого модель начинает её устойчиво узнавать. Конкретной цифры, общей для всех моделей, нет, но если ассистент без поиска вообще не знает компанию, она явно ниже порога.

Пример: автосервис с чужим адресом

Условный автосервис заметил, что ассистент называет адрес, по которому компания никогда не работала. Проба по 12 вопросам показала:

Диагноз: компания ниже порога упоминаемости, а ошибка приходит из одного агрегатора, где её склеили с другой организацией. План: запросить у агрегатора разделение карточек, заполнить карточки на картах и в справочниках, добавить на сайт отличительные признаки. Повторная проба через три недели показала верный адрес в режиме с поиском.

Типичные ошибки при пробе

• Один ответ вместо повторов. Ответы нейросетей меняются от попытки к попытке. Задавайте ключевые вопросы 2–3 раза.
• Нет даты. Без даты невозможно понять, исправилась ли ошибка или ответ просто сменился.
• Только свой сайт. Правка собственного сайта не поможет, если ассистент берёт данные с агрегатора.
• Вопросы с подсказкой. «Правда ли, что компания работает по адресу …?» подталкивает модель. Спрашивайте нейтрально.

Когда проба особенно полезна

Метод — рабочее понятие SERM Service, а не отраслевой стандарт, но он экономит время в нескольких типовых ситуациях:

• после переезда или смены телефона, когда нужно понять, остались ли старые данные в источниках или только в памяти модели;
• при путанице с тёзкой, когда ассистент приписывает компании чужие отзывы или адрес;
• перед запуском контента, чтобы понять, есть ли смысл в новых публикациях или достаточно исправить существующие карточки;
• после исправлений, чтобы проверить, что ошибка ушла хотя бы из ответов с поиском.

Как понять, что компания ниже порога упоминаемости

Порог упоминаемости нельзя измерить напрямую, но его косвенные признаки хорошо видны в пробе:

Если компания ниже порога, главная работа идёт через источники, которые находит поиск: карточки, справочники, отзывы, независимые публикации. Со временем часть этих материалов попадёт в обучающие данные новых версий моделей.

Как оформлять результаты

Результат пробы удобно хранить в одной таблице, которую пополняют при каждой проверке. Минимальный набор столбцов: дата, ассистент, режим, вопрос, ответ, ссылки, оценка, диагноз. Через несколько месяцев такая таблица показывает, как быстро исправления доходят до ответов с поиском и меняется ли что-то в режиме без поиска после выхода новых версий моделей.

Ограничения метода

Проба показывает источник ошибки, но не объясняет, почему модель выбрала именно эту страницу. Кроме того, режим «без поиска» в части ассистентов можно включить только просьбой в тексте вопроса, и модель не всегда её соблюдает. Поэтому выводы делайте по повторяющимся результатам в нескольких ассистентах, а не по одному ответу.

Чек-лист пробы

• 10–20 нейтральных вопросов о фактах компании
• Минимум два ассистента, ключевые вопросы заданы 2–3 раза
• Ответы без поиска и с поиском сохранены с датой
• У каждого ответа с поиском записаны ссылки на источники
• Для каждой пары выбран диагноз из таблицы
• Составлен список источников для исправления
• Назначена повторная проба через 3–4 недели

Как устроен поиск по ассистентам Яндекса и какую роль в нём играют карты, описано в статье Отзывы Яндекс Карт в Алисе и Нейро. Общая схема проверки — в инструкции Как проверить, что нейросети говорят о компании, основы — в статье LLMO: что это. Если ошибка пришла из справочника, начните с карточек, например в 2ГИС.

Первоисточники метода: When Not to Trust Language Models и Large Language Models Struggle to Learn Long-Tail Knowledge. Ответы на вопросы об изменении данных организации собраны в справке Яндекс Бизнеса.