Настроить файл robots txt
Узнайте, как создать и настроить файл robots.txt для вашего сайта с помощью примера и простых инструкций. Изучите приемы использования директив для контроля доступа поисковых систем и ботов к вашим страницам.
Что такое robots.txt?
Robots.txt - это файл, содержащий инструкции для поисковых роботов о том, какие части сайта им разрешено посещать и индексировать. Файл robots.txt может предотвратить индексацию некоторых страниц или директорий сайта, что может быть полезно, если Вы не хотите, чтобы определенные страницы отображались в результатах поиска.
Формат файла robots.txt
Файл robots.txt должен быть правильно отформатирован, чтобы поисковые роботы могли его прочесть. Файл должен быть записан в кодировке UTF-8 без BOM. Каждая запись в файле должна иметь следующий формат:
Пользовательский-агент: Директива
Директивы
В файле robots.txt используются следующие директивы:
Allow
- разрешает поисковым роботам доступ к указанным файлам или директориям.Disallow
- запрещает поисковым роботам доступ к указанным файлам или директориям.Sitemap
- указывает местоположение карты сайта.User-agent
- указывает поисковый робот, которому применяется данная директива.
Пример robots.txt
Ниже приведен пример типичного файла robots.txt:
User-agent: *
Disallow: /cgi-bin/
Allow: /cgi-bin/dir1/
Disallow: /tmp/
Allow: /tmp/dir1/
Sitemap: http://www.example.com/sitemap.xml
В этом примере все поисковые роботы запрещены индексировать директорию /cgi-bin/
, но разрешено индексировать директорию /cgi-bin/dir1/
. Также все поисковые роботы запрещены индексировать директорию /tmp/
, но разрешено индексировать директорию /tmp/dir1/
. Наконец, файл также указывает местоположение карты сайта.