Почему Яндекс, Google, Rambler не индексирует сайт? Как заставить?

Энциклопедия бизнеса / Раскрутка сайта / Поисковая оптимизация сайта (SEO) / Оптимизация сайта для поисковых систем: ответы на вопросы /

Почему Яндекс (Google, Rambler, и т.д.) не индексирует мой сайт? Как заставить его
проиндексировать сайт?
Возможны несколько причин, по которым сайт не индексируется.

1. Прошло недостаточно времени с момента заполнения формы добавления сайта. Самый быстрый робот у Яндекса. Если он не загружен, то добавляемая страница появляется
в результатах поиска уже через 3 часа. Большинство страниц попадают в индекс не позже,
чем через неделю с момента добавления. У остальных поисковиков время обновления
индекса существенно больше -- можно начинать беспокоится месяца через полтора.

2. В момент визита робота поисковика сайт был недоступен или имел очень большое
время отклика. Если сервер "тормозит" не постоянно, то рано или поздно сайт попадёт в
поисковик. Через какое время -- см. пункт 1.

3. Некоторые поисковики (например, Google) индексируют только те сайты, на которые
есть хотя бы одна внешняя ссылка с документа, уже проиндексированного данным
поисковиком.

4. Некорректная настройка сервера. Самая распространённая ошибка среди любителей
использовать .htaccess -- в результате применения директив ErrorDocument или RewriteRule
робот поисковика при обращении к robots.txt получает от сервера код отличный от 200(OK)
или 404 (Not Found). Некоторых роботов (Rambler) это вводит в ступор и индексация не
произойдёт до тех пор, пока не ошибка не будет исправлена. Как избежать ошибки: в случае
использования ErrorDocument всегда создавать robots.txt хотя бы и пустой, в случае
использования RewriteRule быть аккуратным и всегда проверять код ответа сервера.

5. Неправильно написанный robots.txt. При попытке запретить индексацию сервера для
какого-либо робота под правило попадают и другие роботы. Также сюда можно отнести
запрещение индексирования всего домена: в случае страниц вида
http://домен/~пользователь/blabla.html локальный robots.txt работать не будет, а в общем
robots.txt пользовательские страницы могут быть запрещены к индексации для уменьшения
нагрузки на сервере. Как избежать ошибки? Всегда проверять правильность составления
robots.txt.

6. Поисковик не может распознать ссылки на страницах сайта. Самый распространенный
случай -- все ссылки сделаны на JavaScript или на Flash. Некоторые поисковики неадекватно
понимают редиректы. Наиболее "безопасен" в этом смысле Google -- он отлично справляется
как со ссылками на флэше, так и с редиректами, и лишь JS ему еще не совсем по зубам.

7. Сайт был забанен.

8. Проблемы у поисковика. Серьезные сбои редки, но случаются, и если избыточность
аппаратуры оказывается недостаточной, часть индекса теряется. Кроме того, проблемы могут
быть связаны с кластерной структурой поисковика.

9. Использование динамических страниц. Это будет раскрыто в отдельном пункте FAQ, а
пока можно заметить, что динамические страницы индексируются нормально далеко не
всеми поисковиками. Почему? Динамика несет два вида проблем. Первая -- дублирование
информации. Если для сайта URL вида .../page.php?par1=x&par2=y означает, как правило, то
же, что и .../page.php?par2=y&par1=x, то для поисковика это совсем другая страница.
Особенно часто эта проблема возникает при отслеживании сессий посетителей -- роботы
поисковиков не используют cookies, и потому URL для них каждый раз меняется. Вторая
проблема -- робот может легко перегрузить сайт, который формирует страницы динамически.

10. Сайт находится в неиндексируемой зоне. У каждого поисковика есть своя "область
действия", например, Яндекс и Рамблер охватывают русскоязычную часть интернета.
Поэтому, если сайт не входит в соответствующие доменные зоны (например, su, ru, am, az,
by, ge, kg, kz, md, tj, ua, uz для Яндекса; ru, su, ua, by, kz, kg, uz, ge для Рамблера), то
автоматическая индексация может не пройти. В таком случае необходимо написать письмо в
службу поддержки поисковика с просьбой о включении сайта в индекс.

Многие крупные поисковики чураются бесплатных хостингов с сотнями тысяч сайтов, равно
как и редиректных служб (таких, как da.ru) и если ваша страница расположена на одном из
подобных хостингов, индексации можно ждать вечно.

Поисковая оптимизация. Вопросы и ответы