Редирект 301 robots txt

Разберитесь, как работает редирект 301 robots txt, чтобы избежать недоразумений с поисковыми системами. Примеры правильно настроенной robots.txt дадут понять, как правильно подключать редирект 301 для получения наилучших результатов индексации.

301 редирект в robots.txt

Редирект 301 в robots.txt выполняется для того, чтобы перенаправить поисковые системы на новый URL-адрес, если исходный адрес изменился. Это используется для того, чтобы избежать потери трафика, в случае если поисковые системы по-прежнему полагают, что путь приведет к отсутствующему URL-адресу.

В простейшем случае редирект 301 в robots.txt записывается в виде следующей строки:

User-agent: *
Disallow:
Allow: /

Redirect 301 /old-page.html http://example.com/new-page.html

В данном примере мы перенаправляем поисковых роботов со страницы /old-page.html на новую страницу /new-page.html. Редирект работает только для поисковых роботов, для обычных посетителей никаких редиректов не произойдет.

В robots.txt можно использовать и другие параметры редиректа, например, «RedirectMatch 301» и «RedirectTemp». Например, чтобы перенаправить все страницы на определенную директорию, вы можете использовать следующую запись:

User-agent: *
Disallow:
Allow: /

RedirectMatch 301 ^/old-dir/(.*) http://example.com/new-dir/$1

В данном примере мы перенаправляем все страницы из директории «/old-dir/» на директорию «/new-dir/». Все параметры после «/old-dir/» будут сохранены в новом URL-адресе. Например, страница «/old-dir/page1.html» будет перенаправлена на «/new-dir/page1.html».

В редиректах необходимо использовать полные URL-адреса, а не относительные. Также необходимо обязательно использовать переход по коду 301, так как поисковые системы иначе не обратят внимания на данный редирект.