Как создать файл robots.txt
Что такое файл robots.txt. Файл robots.txt является одним из ключевых аспектов поисковой оптимизации. Robots.txt представляет собой текстовый файл, в котором содержатся инструкции относительно того, какие страницы нельзя индексировать поисковикам.
Где находится файл robots.txt
Файл robots.txt размещается в корневой директории, за счет чего поисковые роботы начинают “чтение” страниц сайта именно с него:
Как создать файл robots.txt
Поскольку robots.txt представляет собой обычные текстовый документ, вы можете создать его с помощью блокнота, назвав файл robots и выбрав расширение .txt. Если вы не хотите добавлять в него страницы, запрещенные для индексирования, пропишите в файле директивы и оставьте их пустыми:
|
User-agent:* |
User-agent определяет для какого поискового робота предназначена информация в файле, а Disallow указывает на страницу/папку, попавшую под запрет индексирования (каждый новый пункт прописывается с новой строки). Допускается несколько строк User-agent, например:
|
User – agent: Yandex User – agent: Googlebot Disallow: /administrator/ Disallow: /cache/ Disallow: /modules/ |
Обратите внимание на то, что каждый User – agent прописывается с новой строки. Чтобы “обратиться” ко всем поисковым роботам сразу, поставьте в поле User – agent символ “звездочка” (*):
|
User-agent: * Disallow: /cache/ Disallow: /modules/ |
На что обратить внимание внимание
Создавая файл robots.txt, пишите название с маленькой буквы. Как мы уже писали, robots.txt должен быть размещен в корневом каталоге. User-agent и Disallow должны упоминаться в файле хотя бы один раз.
Некоторые поисковики, например Яндекс, “требуют”,чтобы в файле robots.txt содержалось дополнительное поле Host, в котором должен быть прописан ваш домен:
|
User-agent: Yandex Host: http://ваш-домен.ru |
Например:
Данный нюанс “беспокоит” лишь Яндекс, поэтому вы можете включить в файл два “обращения”:
|
User-agent: Yandex Host: http://ваш-домен.ru User-agent: * |
Отметим также, что разработчики Google рекомендуют не делать файл robots.txt тяжелее 500 КБ, поскольку в противном случае могут произойти ошибки индексации.
