Robots txt для modx

Узнайте больше о Robots txt для modx, примерах использования и пошаговой инструкции по созданию. Получите всю необходимую информацию для защиты сайта от нежелательных поисковых ботов.

Robots.txt это специальный текстовый файл, который используется для ограничения доступа поисковых систем к различным частям вашего сайта. В нём можно описать, какие файлы или папки не должны индексироваться поисковыми системами. В противном случае, если такой файл не существует или если в нём нет достаточного количества информации о нескольких папках, то эти папки могут быть индексированы поисковыми системами и появиться в результатах поиска.

Пример robots.txt для modx

User-agent: * 
Allow: /assets/ 
Allow: /core/ 
Allow: /connectors/ 
Disallow: /manager/
Disallow: /assets/*.php$ 
Disallow: /core/*.php$ 
Disallow: /connectors/*.php$
Disallow: /*.txt$
Disallow: /*.html$
Disallow: /*.xml$
Disallow: /*.js$
Disallow: /*.css$

Sitemap: https://example.com/sitemap.xml

Рассмотрим код подробнее. Первая строка User-agent: * означает, что следующие инструкции распространяются на всех поисковых ботов. Далее идут инструкции Allow и Disallow, которые позволяют или запрещают индексацию для определенных папок и файлов. Здесь мы запрещаем индексацию папки manager, а также файлов с расширениями .txt, .html, .xml, .js и .css. В конце файла мы указываем путь к sitemap сайта.