Robots.txt — файл с правилами для поисковых роботов, позволяющий запретить индексацию всей или части страниц сайта. К примеру, чтобы запретить индексацию всего сайта, необходимо добавить директиву User-agent: * Disallow: /.
Популярные вопросы
IT курсы
Получите профессию за 6 месяцев и зарабатывайте в среднем 130 000 ₽
Начало курса: 2024-05-04