Робот

Робот (здесь поисковый робот, поисковый сканер, веб-краулер) — программа, функционирующая по алгоритму соответствующей поисковой системы, в задачи которой входит сканирование веб-страниц и занесение информации о них в базу данных (индексирование).

Роботы постоянно сканируют Интернет: посещают уже проиндексированные сайты, переходят по ссылкам на новые ресурсы. При обнаружении нового ресурса роботы индексируют его страницы, если это не противоречит директивам файла robots.txt или значениям мета-тега Robots.