Crawl delay – это директива в файле robots.txt, которая указывает поисковым системам минимально допустимый промежуток времени, которое должно пройти между двумя запросами сервера. Например, директива "Crawl-delay: 10" говорит поисковому роботу, что он должен подождать 10 секунд до следующего запроса.
Популярные вопросы
IT курсы
Получите профессию за 6 месяцев и зарабатывайте в среднем 130 000 ₽
Начало курса: 2024-05-06