Безопасно размещаем отзывы и Работаем с репутацией!
Метатег robots
Также: meta robots, метатег роботов
Коротко
HTML-метатег с инструкциями для поисковых роботов: индексировать ли страницу, переходить ли по ссылкам, показывать ли сниппет.
Через метатег robots задают noindex, nofollow и директивы сниппета. Для файлов без HTML те же инструкции передают в X-Robots-Tag.