📖 Глоссарий

ИИ-краулер

Также: ИИ-краулеры, AI-краулер, GPTBot, OAI-SearchBot

Коротко

Робот, который обходит сайты для нужд нейросетей: для обучения моделей или для поиска ответов в реальном времени.

У крупных разработчиков ИИ свои роботы с разными задачами: одни собирают данные для обучения, другие ищут страницы для ответа пользователю. Доступ им можно разрешать или ограничивать в robots.txt по имени робота.

⚠️

Перед блокировкойЕсли закрыть сайт от поисковых ИИ-роботов, он может перестать появляться в ответах ассистентов. Решение стоит принимать осознанно.

Упоминается в статьях

Упоминается в исследованиях