robots txt для сайта

Robots.txt – это файл, который позволяет настроить доступ поисковых роботов к страницам сайта. Он определяет, какие ресурсы разрешено индексировать поисковым системам и какие им запрещены.

Файл robots.txt является стандартным правилом для веб-роботов и позволяет владельцам сайта ограничить доступ роботов поисковых систем к различным разделам и папкам сайта. Это помогает избежать индексации частей сайта, которые должны быть скрыты от поисковых систем и посетителей.

Пример robots.txt

User-agent: *
Allow: /

Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

В данном примере всем роботам разрешено индексировать все страницы сайта с помощью директивы Allow. Также приведены директивы Disallow, которые запрещают доступ к папке cgi-bin, папке tmp и папке private. В конце приведена директива Sitemap, в которой указан адрес карты сайта.