' Как создать файл robots.txt | Шнайдер блог

Как создать файл robots.txt

Что такое файл robots.txt. Файл robots.txt является одним из ключевых аспектов поисковой оптимизации. Robots.txt представляет собой текстовый файл, в котором содержатся инструкции относительно того, какие страницы нельзя индексировать поисковикам.

Где находится файл robots.txt

Файл robots.txt размещается в корневой директории, за счет чего поисковые роботы начинают “чтение” страниц сайта именно с него:

Как создать файл robots.txt

Поскольку robots.txt представляет собой обычные текстовый документ, вы можете создать его с помощью блокнота, назвав файл robots и выбрав расширение .txt. Если вы не хотите добавлять в него страницы, запрещенные для индексирования, пропишите в файле директивы и оставьте их пустыми:

User-agent:*
Disallow:

User-agent определяет для какого поискового робота предназначена информация в файле, а Disallow указывает на страницу/папку, попавшую под запрет индексирования (каждый новый пункт прописывается с новой строки). Допускается несколько строк User-agent, например:

User – agent: Yandex

User – agent: Googlebot

Disallow: /administrator/

Disallow: /cache/

Disallow: /modules/

Обратите внимание на то, что каждый User – agent прописывается с новой строки. Чтобы “обратиться” ко всем поисковым роботам сразу, поставьте в поле User – agent символ “звездочка”  (*):

User-agent: *
Disallow: /administrator/

Disallow: /cache/

Disallow: /modules/

На что обратить внимание внимание

Создавая файл robots.txt, пишите название с маленькой буквы. Как мы уже писали, robots.txt должен быть размещен в корневом каталоге. User-agent и Disallow должны упоминаться  в файле хотя бы один раз.

Некоторые поисковики, например Яндекс, “требуют”,чтобы в файле robots.txt содержалось дополнительное поле Host, в котором должен быть прописан ваш домен:

User-agent: Yandex
Disallow: /administrator/

Host: http://ваш-домен.ru

Например:

Данный нюанс “беспокоит” лишь Яндекс, поэтому вы можете включить в файл два “обращения”:

User-agent: Yandex
Disallow: /administrator/

Host: http://ваш-домен.ru

 

User-agent: *
Disallow: /administrator/

Отметим также, что разработчики Google рекомендуют не делать файл robots.txt тяжелее 500 КБ, поскольку в противном случае могут произойти ошибки индексации.


Категории


Хостинг сайтов

Популярное в категории