Проверка индексности страницы
Можно ли индексировать URL: robots.txt, meta noindex, X-Robots-Tag, canonical.
Проверка индексности страницы: можно ли индексировать URL. Учитываются правила robots.txt, наличие meta noindex, заголовок X-Robots-Tag и canonical. Итог — индексируется страница или нет.