Представляем вашему вниманию наиболее распространенные ошибки файла robots.txt, которые допускают вебмастеры в своей работе.
Ошибки
Перечень ошибок, возникающих при анализе файла
robots.txt.
Ошибка |
Расширение Яндекса |
Описание |
Правило начинается не с символа / и не с символа * |
Да |
Правило может начинаться только с символа / или *. |
Найдено несколько правил вида User-agent: * |
Нет |
Допускается только одно правило такого типа. |
Найдено несколько директив Host |
Да |
Допускается только одна директива Host. |
Превышен допустимый размерrobots.txt |
Да |
Количество правил в файле превышает 2048. |
Перед правилом нет директивыUser-agent. |
Нет |
Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent. |
Слишком длинное правило |
Да |
Правило превышает допустимую длину (1024 символа). |
Некорректное имя главного зеркала сайта |
Да |
Имя главного зеркала сайта в директиве Host содержит синтаксическую ошибку. |
Некорректный формат URL файла Sitemap |
Да |
В качестве URL файла Sitemap должен быть указан полный адрес, включая протокол. Например,https://www.example.com/sitemap.xml |
Некорректный формат директивы Crawl-delay |
Да |
Время в директиве Crawl-delay указано неверно. |
Найдено несколько директив Crawl-delay |
Да |
Допускается только одна директива Crawl-delay. |
Некорректный формат директивы Clean-param |
Да |
В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом. |
Предупреждения
Перечень предупреждений, возникающих при анализе файла robots.txt.
Предупреждение |
Расширение Яндекса |
Описание |
Возможно, был использован недопустимый символ |
Да |
Обнаружен спецсимвол, отличный от * и $. |
Обнаружена неизвестная директива |
Да |
Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем. |
Синтаксическая ошибка |
Да |
Строка не может быть интерпретирована как директиваrobots.txt. |
Неизвестная ошибка |
Да |
При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки. |
Ошибки проверки URL
Перечень ошибок проверки URL в Анализаторе robots.txt.
Ошибка |
Описание |
Синтаксическая ошибка |
Ошибка синтаксиса URL. |
Этот URL не принадлежит вашему домену |
Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали адрес одного из зеркал вашего сайта или допустили ошибку в написании имени домена. |