Изучайте robots.txt чужих сайтов с помощью доступных инструментов. Узнайте, какие ресурсы доступны поисковикам, а какие исключены из индексации.
Узнайте, как открыть скрытый файл robots.txt в вашем браузере, и как использовать его для понимания правил индексации вашего сайта.
