Clean param в robots txt примеры

В статье рассматриваются примеры применения параметра Clean param в файле robots.txt. Описываются возможности указания параметра для запрета индексации динамических параметров. Даны детальные примеры использования Clean param для блокировки нежелательных страниц.

Параметр Clean в robots.txt файле позволяет исключить из индексации целые директории или даже конкретные страницы. Для этого нужно указать путь к директории или к конкретной странице, которую нужно исключить из индексации. Например, чтобы исключить директорию /images, можно указать следующую директиву:

User-agent: *
Clean-param: /images

В данном случае все страницы из директории /images будут исключены из индексации. Также можно исключать не только директории, но и конкретные страницы. Например, для исключения страницы /page2.html можно указать следующую директиву:

User-agent: *
Clean-param: /page2.html

В данном случае поисковики не будут индексировать страницу /page2.html, и она не будет появляться в результатах поиска. Однако эта директива не будет исключать все страницы из директории, а только ту, что указана в директиве. Важно помнить, что эта директива не будет исключать из индексации страницы, которые были уже проиндексированы ранее. Для этого нужно использовать другую директиву Noindex, которая позволяет указать поисковой системе, что страница не должна быть проиндексирована.

Заключение

Вышеуказанные примеры показывают использование директивы Clean-param для исключения директорий или конкретных страниц из индексации. По умолчанию эта директива не будет исключать из индексации уже проиндексированные страницы, поэтому чтобы исключить их из индексации необходимо использовать другую директиву Noindex.