📖 Глоссарий

robots.txt

Также: robots

Коротко

Текстовый файл в корне сайта с правилами для поисковых и других роботов: какие разделы обходить, а какие нет.

В robots.txt можно задать правила для конкретных роботов по их имени — в том числе для ИИ-краулеров. Файл — рекомендация, а не защита: закрытые разделы всё равно доступны по прямой ссылке.

Упоминается в статьях

Упоминается в исследованиях