Здравствуйте, читатели блога Сайт с нуля.
В панели вебмастера Google есть очень интересный инструмент, который воспроизводит процесс сканирования веб-страниц. С его помощью вы можете узнать, есть ли у робота Google доступ к вашему контенту (в т. ч. изображениям или скриптам) и как он его обрабатывает, а также исправить найденные проблемы сканирования.
Для проверки мобильных приложений используйте эту версию инструмента.
Как и что делать в Сканировании Googlebot
- Введите в поле URL страницы, которую нужно проверить. Пустое поле соответствует корневому каталогу сайта. А если вы проверяете ресурс
http://ваш_сайт.com
, то по запросу «рубрика/ваша_страница.com« будет обработана страница http://ваш_сайт/рубрика/ваша_страница.com
.Ограничения:
- Инструмент обрабатывает только URL, которые относятся к текущему сайту. Так, если это
http://ваш_сайт.com
, то страницыhttps://ваш_сайт.com
иhttp://m.ваш_сайт.com
не будут сканироваться. - Инструмент никуда не отправляет файлы cookie, учетные данные и иную информацию.
- Инструмент не переходит по ссылкам переадресации. Если вы просматриваете страницу, на которой они есть, откройте их вручную (см. описание статуса «Перенаправлено» ниже).
- Инструмент обрабатывает только URL, которые относятся к текущему сайту. Так, если это
- При желании можно выбрать тип робота Google для просмотра. Это определяет и выполнение запроса «Получить и отобразить». Доступные варианты:
- Для ПК (по умолчанию).
- Для мобильных устройств (смартфонов).
- Для мобильных устройств: cHTML (в основном для японских мобильных телефонов среднего класса). Отображение не поддерживается.
- Для мобильных устройств: XHTML/WML (мобильных телефонов среднего класса). Отображение не поддерживается.
- Нажмите Сканировать или Получить и отобразить.
- Сканировать. Инструмент запрашивает указанный URL на вашем сайте и отображает ответ HTTP. Он не обращается к ресурсам страницы, например изображениям или скриптам. Это достаточно быстрая операция, которую можно использовать для проверки или отладки сетевого подключения или устранения проблем безопасности.
- Получить и отобразить. Инструмент запрашивает указанный URL на вашем сайте, отображает ответ HTTP, а также страницу в соответствии с заданной платформой (обычный компьютер или мобильное устройство). В рамках этой операции запрашиваются и обрабатываются все ресурсы на странице, в том числе изображения и скрипты. Это позволит выявить различия между тем, как вашу страницу видят робот и пользователь.
- Запрос попадет в таблицу истории сканирования с указанием, что он обрабатывается. Если запрос будет выполнен успешно, в строке появится информация о нем. Нажимая на строки с успешно просканированными ресурсами, изучите сведения о них, в том числе заголовки и данные HTTP-запроса, а при использовании команды «Получить и отобразить» – список заблокированных ресурсов и вид страницы.
- Если запрос был успешно выполнен не более четырех часов назад, вы можете заказать повторное сканирование и, по возможности, повторную индексацию страницы наряду с ресурсами, на которые она ссылается.
Сканирование можно выполнять не более 500 раз в неделю. Если вы скоро достигнете этого предела, то появится уведомление.
Статусы запросов сканирования
В таблице истории сканирования показаны последние 100 запросов. Чтобы просмотреть подробные данные по любому из них, нажмите на его строку. Вы увидите один из следующих статусов:
- Выполнено. Наш робот успешно связался с вашим сайтом, просканировал страницу и получил все ресурсы, на которые она ссылается. Нажмите на строку таблицы, чтобы просмотреть подробные сведения.
- Частично выполнено. Робот видит ваш сайт, но некоторые ресурсы страницы заблокированы посредством файлов robots.txt. Если вы выполняли только сканирование, нажмите «Получить и отобразить». Изучите страницу и выясните, не заблокированы ли какие-либо ресурсы, в связи с чем корректная обработка данных стала невозможной. Если это так, измените файлы robots.txt, которые вы можете редактировать. Если же дело в файлах robots.txt, к которым у вас нет доступа, попросите их владельцев разблокировать нужные ресурсы. Советуем изучить описания ошибок сканирования.
- Перенаправлено. Это значит, что сервер перенаправил запрос. Сканер Google не выполняет такую операцию. В отличие от настоящего поискового робота Google, который при сканировании URL выполняет переадресацию, инструмент «Просмотреть как Googlebot» не в состоянии ее воспроизвести. Выполните ее вручную:
- Если переадресация выполняется в рамках того же самого ресурса, вы увидите кнопку, позволяющую перейти по целевому адресу, добавив требуемый URL в поле.
- Если URL ведет на другой принадлежащий вам ресурс, нажмите «Перейти» для автозаполнения адреса, скопируйте его, перейдите к новому сайту и вставьте URL в текстовое поле для сканирования.
Проанализируйте ответ HTTP, просмотрев страницу подробных данных сканирования. Найдите код ошибки, а затем выполните эти инструкции. Переадресацию могут инициировать сервер, метатеги или код JavaScript на странице.
- Тип ошибки. В столбце «Статус» может отображаться ошибка при запросе на сканирование любого ресурса, связанного со страницей, которую вы проверяете. Примеры: Не найдено или Недоступен.
Ошибки сканирования ресурсов
Нажмите на строку со статусом Частично выполнено, чтобы увидеть таблицу с обнаруженными ошибками. Обычно они связаны с заблокированными ресурсами на странице.
Попробуйте определить причину проверив на ошибки работу файла robots.txt и sitemap.
Если у вас остались вопросы по сканированию Googlebot — пишите в комментариях.