Robots txt для битрикс

Robots txt для Битрикс - это инструмент, позволяющий задать поисковым роботам инструкции для индексации сайта. Детальный пример и объяснение различных директив.

Robots.txt – это текстовый файл, который предназначен для информирования поисковых роботов о том, какие страницы необходимо индексировать и в каких папках искать информацию.

На практике, для работы на битриксе, достаточно простого и несложного robots.txt. Данный файл следует поместить в корневую папку сайта. Например, вот такой простой файл robots.txt для битрикса:

User-agent: *
Disallow: /bitrix/
Disallow: /search/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/components/
Allow: /bitrix/images/
Allow: /bitrix/panel/

В данном файле указано, что поисковым роботам нельзя индексировать папки /bitrix/, /search/, но можно индексировать папки /bitrix/cache/, /bitrix/js/ и т.д.

Это простой пример, который может быть расширен по необходимости. Например, можно добавить следующие строки:

Disallow: /*sort_*
Disallow: /*show_all
Disallow: /*print=Y

Это означает, что поисковым роботам нельзя индексировать страницы с адресами, которые содержат параметры sort_*, show_all или print=Y.

Также можно добавить настройки для отдельных поисковых роботов, например, так:

User-agent: Yandex
Disallow: /

User-agent: Google
Disallow: /bitrix/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/components/
Allow: /bitrix/images/
Allow: /bitrix/panel/

В этом случае для поискового робота Yandex запрещен доступ ко всему сайту, а для поискового робота Google запрещен доступ к папке /bitrix/, но разрешен доступ к остальным папкам.

Таким образом, мы можем легко и просто настроить robots.txt для битрикса с учетом наших потребностей.