Справочник по ошибкам анализа robots.txt

Здравствуйте, читатели блога Сайт с нуля.

Представляем вашему вниманию наиболее распространенные ошибки в составлении файла robots.txt, которые допускают вебмастеры в своей работе.

Ошибки


Перечень ошибок, возникающих при анализе файла robots.txt.

Ошибка Расширение Яндекса Описание
Правило начинается не с символа / и не с символа * Да Правило может начинаться только с символа / или *.
Найдено несколько правил вида User-agent: * Нет Допускается только одно правило такого типа.
Найдено несколько директив Host Да Допускается только одна директива Host.
Превышен допустимый размерrobots.txt Да Количество правил в файле превышает 2048.
Перед правилом нет директивыUser-agent. Нет Правило должно всегда следовать за директивой User-agent. Возможно, файл содержит пустую строку после User-agent.
Слишком длинное правило Да Правило превышает допустимую длину (1024 символа).
Некорректное имя главного зеркала сайта Да Имя главного зеркала сайта в директиве Host содержит синтаксическую ошибку.
Некорректный формат URL файла Sitemap Да В качестве URL файла Sitemap должен быть указан полный адрес, включая протокол. Например,https://www.example.com/sitemap.xml
Некорректный формат директивы Crawl-delay Да Время в директиве Crawl-delay указано неверно.
Найдено несколько директив Crawl-delay Да Допускается только одна директива Crawl-delay.
Некорректный формат директивы Clean-param Да В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через символ & и отделяются от префикса пути пробелом.

 

Предупреждения

Перечень предупреждений, возникающих при анализе файла robots.txt.

Предупреждение Расширение Яндекса Описание
Возможно, был использован недопустимый символ Да Обнаружен спецсимвол, отличный от * и $.
Обнаружена неизвестная директива Да Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем.
Синтаксическая ошибка Да Строка не может быть интерпретирована как директиваrobots.txt.
Неизвестная ошибка Да При анализе файла возникла неизвестная ошибка. Обратитесь в службу поддержки.

 

Ошибки проверки URL

Перечень ошибок проверки URL в Анализаторе robots.txt.

Ошибка Описание
Синтаксическая ошибка Ошибка синтаксиса URL.
Этот URL не принадлежит вашему домену Заданный URL не принадлежит сайту, для которого производится анализ файла. Возможно, вы указали адрес одного из зеркал вашего сайта или допустили ошибку в написании имени домена.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

  bigmir)net TOP 100  - .  E-mail: sitesnulyaru@gmail.com