Настроить файл robots txt

Узнайте, как создать и настроить файл robots.txt для вашего сайта с помощью примера и простых инструкций. Изучите приемы использования директив для контроля доступа поисковых систем и ботов к вашим страницам.

Что такое robots.txt?

Robots.txt - это файл, содержащий инструкции для поисковых роботов о том, какие части сайта им разрешено посещать и индексировать. Файл robots.txt может предотвратить индексацию некоторых страниц или директорий сайта, что может быть полезно, если Вы не хотите, чтобы определенные страницы отображались в результатах поиска.

Формат файла robots.txt

Файл robots.txt должен быть правильно отформатирован, чтобы поисковые роботы могли его прочесть. Файл должен быть записан в кодировке UTF-8 без BOM. Каждая запись в файле должна иметь следующий формат:

Пользовательский-агент: Директива

Директивы

В файле robots.txt используются следующие директивы:

• Allow - разрешает поисковым роботам доступ к указанным файлам или директориям.
• Disallow - запрещает поисковым роботам доступ к указанным файлам или директориям.
• Sitemap - указывает местоположение карты сайта.
• User-agent - указывает поисковый робот, которому применяется данная директива.

Пример robots.txt

Ниже приведен пример типичного файла robots.txt:

User-agent: *
Disallow: /cgi-bin/
Allow: /cgi-bin/dir1/
Disallow: /tmp/
Allow: /tmp/dir1/
Sitemap: http://www.example.com/sitemap.xml

В этом примере все поисковые роботы запрещены индексировать директорию /cgi-bin/, но разрешено индексировать директорию /cgi-bin/dir1/. Также все поисковые роботы запрещены индексировать директорию /tmp/, но разрешено индексировать директорию /tmp/dir1/. Наконец, файл также указывает местоположение карты сайта.