Как добавить на сайт robots txt

Узнайте, как легко добавить robots.txt к сайту и подключить его к поисковой системе. Приведен пример файла robots.txt с пояснениями.

Добавление robots.txt на сайт

Robots.txt — это текстовый файл, который размещается на веб-сервере и предназначен для доступа поисковыми роботами. С помощью этого файла владельцы сайтов могут указать поисковым системам, какие ресурсы необходимо индексировать, а какие — игнорировать.

Для добавления robots.txt на сайт нужно создать текстовый файл и поместить его в корневой каталог веб-сервера. Файл должен называться «robots.txt» и иметь кодировку UTF-8. В зависимости от требований поисковой системы в файл могут быть добавлены команды, которые будут указывать роботам, как индексировать сайт.

Наиболее распространенные команды для robots.txt следующие:

User-agent — используется для определения робота, для которого действует данное правило;
Allow — разрешает роботу индексировать указанную папку или файл;
Disallow — запрещает роботу индексировать указанную папку или файл;
Sitemap — указывает роботу на наличие карты сайта.

Например, следующий фрагмент кода разрешает поисковому роботу с именем «Googlebot» индексировать все файлы на сайте:

User-agent: Googlebot
Allow: /

А следующий код запрещает поисковому роботу с именем «Googlebot» индексировать файлы в папке «/private/»:

User-agent: Googlebot
Disallow: /private/

После добавления файла robots.txt на сайт необходимо проверить корректность синтаксиса. Для этого можно воспользоваться специальными онлайн-сервисами, например, Robots.txt Яндекса.

После проверки синтаксиса файл можно отправить в поисковую систему. Например, для Яндекса это можно сделать, перейдя в раздел Настройки робота.