Генератор robots.txt

User-agent, Disallow/Allow, Sitemap → готовый файл.

Генератор готового файла robots.txt: вы задаёте User-agent, списки Disallow/Allow и URL sitemap — получаете корректный текст файла для размещения в корне сайта.