www.BASTAU.com - от создания сайта до достижения успеха в бизнесе: статьи, советы, предложения.
|
|||||||||||||||
 |
|||||||||||||||
 |
|||||||||||||||
 |
|||||||||||||||
Что такое robots.txt?
|
|||||||||||||||
Энциклопедия бизнеса / Раскрутка сайта / Поисковая оптимизация сайта (SEO) / Оптимизация сайта для поисковых систем: ответы на вопросы /
Что такое robots.txt? Файл robots.txt был придуман для управления поведением различных роботов, работающих в интернете. В частности, индексирующих роботов поисковых машин. Синтаксис файла позволяет задавать для роботов запретные для посещения области. Можно задать правила как для всех роботов, так и для определенных. Базовый синтаксис описан в стандарте HTML4 в документе "Appendix B: Performance, Implementation, and Design Notes" (http://www.w3.org/TR/html4/appendix/notes.html#h-B.4.1) Различные индексирующие роботы могут дополнять синтаксис своими командами, как, в частности, это сделали разработчики Яндекса: http://www.yandex.ru/info/webmaster2.html Индексирующий робот Google также понимает дополнительные команды: http://www.google.com/webmasters/faq.html#nocrawl Поисковая оптимизация. Вопросы и ответы
Источник: seoman.ru
|
|||||||||||||||
|
|||||||||||||||