Проверка файла robots.txt

Вставьте содержимое файла robots.txt, чтобы проверить его синтаксис и найти недопустимые директивы или отсутствие правила User-agent. 100% локальная обработка (WebAssembly).

Пример:

Как это работает

Синтаксическая ошибка в robots.txt может привести к тому, что поисковые роботы проигнорируют часть правил — от случайной блокировки важных страниц до обхода разделов, которые должны оставаться закрытыми. Вставьте содержимое файла перед публикацией, чтобы убедиться, что каждая строка соответствует распознаваемому синтаксису.

Какие директивы считаются допустимыми?

Инструмент распознаёт User-agent, Disallow, Allow, Sitemap и Crawl-delay (без учёта регистра). Пустые строки и комментарии, начинающиеся с #, игнорируются, всё остальное помечается как потенциально недопустимое.

Почему директива User-agent обязательна?

Без директивы User-agent следующие за ней правила Disallow или Allow не имеют целевого робота и могут быть проигнорированы поисковыми системами. Каждый блок правил должен начинаться со строки User-agent, указывающей, к какому роботу он относится (* — ко всем).

100% локальная обработка: проверка выполняется полностью в вашем браузере через WebAssembly — ваш файл никогда не покидает ваше устройство.