Проверка Sitemap и robots.txt
Наличие и доступность sitemap.xml и robots.txt, валидация sitemap, правила и проверка URL.
В одном отчёте: наличие и доступность sitemap.xml и robots.txt, валидация sitemap (количество URL, индекс), правила robots.txt и проверка — разрешён ли краулинг для вашего URL.