Примеры кода по тегу роботстхт - база знаний для разработчиков ()

Robots.txt – это файл, который позволяет владельцам сайта ограничить доступ поисковых систем к страницам сайта, защитив его от ненужной индексации.
Robots.txt — файл с правилами для поисковых роботов, позволяющий запретить индексацию всей или части страниц сайта. К примеру, чтобы запретить индексацию всего сайта, необходимо добавить директиву User-agent: * Disallow: /.
1