Как посмотреть robots txt чужого сайта

Изучайте robots.txt чужих сайтов с помощью доступных инструментов. Узнайте, какие ресурсы доступны поисковикам, а какие исключены из индексации.

Для просмотра robots.txt сайта можно использовать несколько различных способов. Один из самых простых и наиболее популярных способов - просто добавить к адресу веб-сайта следующую строку: /robots.txt. Например, для сайта https://www.example.com/, просмотр robots.txt будет доступен по адресу https://www.example.com/robots.txt.

Синтаксис robots.txt

Robots.txt состоит из двух частей: пользовательского агента и директив. Пользовательский агент начинается со слова User-agent, а директивы со слова Disallow. Например, рассмотрим простой robots.txt:

User-agent: *
Disallow: /private
Disallow: /admin

В этом примере правило применяется ко всем пользовательским агентам (*). Директивы предписывают пользовательским агентам не посещать директории /private и /admin. Это означает, что поисковые системы не должны проиндексировать эти директории, и потенциальные посетители сайта не смогут получить доступ к этим директориям.

Также можно использовать записи для определенных пользовательских агентов, например:

User-agent: Googlebot
Disallow: /private

User-agent: *
Disallow: /admin

В этом примере директивы применяются только к пользовательскому агенту Googlebot. Остальные пользовательские агенты будут придерживаться директивы, предписанной для всех пользовательских агентов: не посещать директорию /admin.

Это базовые принципы работы robots.txt. Однако он может быть гораздо более сложен. Например, вы можете использовать директивы Allow, для того, чтобы разрешить поисковым системам индексировать часть вашего сайта, которая иначе будет запрещена для поисковых систем. Вы также можете использовать синтаксис wildcards, чтобы применить директивы к группе страниц.