Порог упоминаемости

Порог упоминаемости — рабочее понятие, которое объясняет, почему нейросети уверенно рассказывают о крупных брендах и путаются в небольших компаниях. Ниже порога модель знает о компании мало или ничего и заполняет пробелы догадками; выше — начинает связывать название с правильными фактами.

На чём основано

• Кандпал и соавторы показали, что точность ответа модели зависит от числа документов о сущности в обучающих данных.
• Маллен и соавторы — что для малоизвестных сущностей рост модели почти не помогает, а поиск по документам помогает сильно.

Важная оговорка

Конкретного числа документов, общего для всех моделей, нет: порог зависит от модели, языка и ниши. Понятие нужно для планирования, а не для расчёта.

Как понять, где компания

• задать нескольким ассистентам вопросы о компании без доступа к поиску;
• если модель путает компанию с тёзками или ничего о ней не знает, компания ниже порога;
• если отвечает верно в общих чертах — около порога или выше.

Что делать ниже порога

Опираться на ответы с поиском: обеспечить точные и согласованные страницы, которые найдёт ассистент, и постепенно наращивать число независимых публикаций.

Подробно, с примером и чек-листом, — в статье Двухрежимная проба: как найти источник ошибки в ответе ИИ о компании.