Узнайте больше о том, как использовать файл robots.txt для вашего лендинга, чтобы контролировать доступ поисковых роботов, а также получить пример действительной строки robots.txt для вашего проекта.
Robots.txt — это файл для ограничения доступа поисковых роботов к страницам сайта. При помощи команд в этом файле можно закрыть страницы от поискового индексирования.
