📖 Глоссарий

Поисковый робот

Также: краулер, Googlebot, YandexBot

Коротко

Программа поисковика, которая обходит сайты и передаёт страницы в индекс.

Поисковый робот возвращается на страницу с разной частотой. Ускорить обход после изменений можно переобходом страницы и заголовком Last-Modified.

Упоминается в статьях