Двухрежимная проба

Коротко

Метод диагностики: одни и те же вопросы о компании задают ИИ-ассистенту без доступа к поиску и с поиском, чтобы отделить память модели от найденных источников.

Двухрежимная проба помогает понять, откуда берётся ошибка в ответе ИИ о компании — из памяти модели или из страниц, которые она нашла. От этого зависит, что исправлять.

Как проводить

Подготовить 10–20 вопросов о компании: что делает, где работает, кто руководит, чем отличается, какие отзывы.
Задать их ассистенту в режиме без поиска (или модели без доступа к интернету).
Задать те же вопросы в режиме с поиском и сохранить ссылки на источники.
Сравнить ответы по каждому вопросу.

Как читать результат

Без поиска	С поиском	Что это значит
ошибка	верно	источники в порядке, память устарела или пуста
верно	ошибка	поиск находит неточные страницы — исправлять их
ошибка	ошибка	проблема и в памяти, и в источниках
ничего не знает	верно	компания ниже порога упоминаемости, но страницы находятся

Связь с исследованиями

Метод опирается на разделение «памяти» модели и найденных документов, которое используют Маллен и соавторы и Кандпал и соавторы.

Подробно, с примером и чек-листом, — в статье Двухрежимная проба: как найти источник ошибки в ответе ИИ о компании.

Упоминается в статьях

💬 Термины и жаргон SERM

Нейропрозвон: как регулярно проверять, что говорят нейросети о компании

Ответы ассистентов меняются без предупреждения, а проверка «по случаю» пропускает ошибки. Как собрать набор вопросов, выбрать ассистентов, вести таблицу и как часто делать нейропрозвон.

⏱ 5 минЧитать →

🧠LLMO LLMO

Сущностная склейка: что делать, если компанию путают с другой

Агрегатор объединил две карточки, ассистент называет чужой адрес, в выдаче смешаны материалы о тёзке. Как диагностировать склейку, разделить данные и закрепить отличительные признаки.

⏱ 5 минЧитать →

⭐ Репутация

Инцидентная привязка: как старый скандал живёт в ответах нейросетей

Конфликт урегулирован, а ассистенты на нейтральный вопрос о компании упоминают его первым. Почему модели держатся за старый инцидент и как ослабить привязку без удаления правды.

⏱ 6 минЧитать →

🧠LLMO LLMO

Фактовая сходимость: аудит согласованности данных о компании

Если адрес, часы и услуги в разных источниках расходятся, нейросеть выбирает версию наугад. Как за два часа построить матрицу «факт — источник», посчитать сходимость и исправить…

⏱ 5 минЧитать →

🧠LLMO LLMO

Фактовый пережиток: как убрать старые данные из ответов ИИ после переезда

После переезда, ребрендинга или закрытия услуги нейросети ещё долго называют старые данные. План на 90 дней: что обновить сразу, что через месяц и как проверять результат.

⏱ 6 минЧитать →

🧠LLMO LLMO

Двухрежимная проба: как найти источник ошибки в ответе ИИ о компании

Один и тот же вопрос о компании задают нейросети без поиска и с поиском. Разница в ответах показывает, что исправлять: источники в интернете или ждать обновления…

⏱ 5 минЧитать →