Индексирующие роботы поисковых систем: IP - Поисковая оптимизация сайта

Энциклопедия бизнеса / Раскрутка сайта / Поисковая оптимизация сайта (SEO) / Оптимизация сайта для поисковых систем: ответы на вопросы /

Как представляются индексирующие роботы поисковых систем, посещая сайт? С
каких IP ходят роботы?
Яндекс использует несколько роботов для разных случаев:

1. Yandex/1.01.001 (compatible; Win16; I) основной индексирующий робот.
Посещает сайт примерно раз в месяц, забирая не более 500 страниц с кодом ответа "200 Ok"
(для остальных кодов ответа лимитов нет) за одно посещение;

2. Yandex/1.01.001 (compatible; Win16; P) индексатор картинок.
Заходит только на файлы картинок. Для своей работы использует результаты работы робота
(1);

3. Yandex/1.01.001 (compatible; Win16; H) робот, определяющий зеркала сайтов.
Нерегулярно посещает страницы сайта, которые подозревает на предмет дублирования
информации. Изредка посещает уже "склеенные" страницы для проверки на предмет
убирания дублирования.

Важно! Если главные страницы двух сайтов признаются дублями, с большой долей
вероятности робот считает все страницы сайта дублями (что не всегда верно);

4. Yandex/1.03.003 (compatible; Win16; D) робот, обращающийся к странице при
добавлении ее через форму "Добавить URL".

Ходит только по команде человека (при сабмите формы "Добавить URL"). Каждый вносимый
адрес посещает дважды (почему?). Иногда в один из разов представляется как AddUrl;

5. Yandex/1.03.000 (compatible; Win16; M) робот, обращающийся при открытии страницы
по ссылке «Найденные слова».

Заходит на страницы сайта асинхронно каждый раз, как человек в результатах поиска нажмет
ссылку "показать найденные слова" напротив адреса этой страницы.

Хитрость: Поисковую фразу, по которой найден сайт, и номер страницы результатаов
поиска можно узнать, если анализировать Referer картинок, которые показываются на этой
странице.

IP-адреса роботов Яндекса со временем меняются. Смысла их отслеживать практически нет.

N.B. Указанные строки передаются роботами через поле User-Agent заголовка запроса и
сохраняются сервером в логах. Как следствие, можно отлавливать роботов как "на лету", так
и анализировать их поведение постфактум.

Поисковая оптимизация. Вопросы и ответы