Робот, или паук, или червь, или crawler, или сетевой агент - программа обхода Сети. Базовой информацией для работы этой программы является список адресов (URL). Дополнительная информация берется из robots.txt (файла, в котором Web-администратор может запретить роботу заходить на те или иные разделы сайта, подробнее см. на http://www.topserver.donetsk.ua/Robot/ ). В самом общем случае робот предназначен для скачивания страниц по указанным адресам в место, указанное его хозяином.Помимо robots.txt существуют и другие джентельменские соглашения для работы роботов - например, он не должен делать более одного коннекта, чтобы не забить канал и дать возможность другим пользователям Сети общаться с данным сервером.Для поисковой машины Yandex.Ru в состав робота входят еще модули индексации, распознавания кодировок (если на странице содержится русский язык) и определения уникальности документа.