robots.txt валидатор
18 проверок Google и Яндекса
Введите домен — мы загрузим /robots.txt и прогоним 18 проверок: BOM, закрытие сайта от ботов, блокировку CSS/JS, ошибки в Sitemap, устаревшие директивы, опечатки, кириллицу без percent-encoding и ещё 11 проблем.
Введите адрес сайта — мы загрузим /robots.txt и проанализируем.
Можно вставить содержимое вручную — без обращения к домену.
Отчёт
Введите URL или вставьте содержимое robots.txt — отчёт появится здесь.
Что мы проверяем
Все правила собраны из официальной документации Google и Яндекса, плюс типичные ошибки из живых аудитов.
SEO-поломка: сайт закрыт от ботов, заблокированы CSS/JS, BOM ломает первую группу. Исправлять в первую очередь.
Проблема, которую заметят поисковики: неполный URL Sitemap, кириллица без encoding, опечатка в имени директивы. Исправить в течение недели.
Best practice: добавить Sitemap, убрать устаревший Host:, объединить дубли User-agent. Не блокирует индексацию, но качество файла страдает.
проверка сайта
robots.txt — это только верхушка
На сайте может быть настроен идеальный robots.txt и при этом валиться индексация: некорректный canonical, дубли title, сломанный hreflang, неотвечающие 4xx/5xx. Запустите полный SEO-аудит — за 30 секунд проверим всё, не только robots.txt.