Для проверки мобильных приложений используйте эту версию инструмента.

Как и что делать в Сканировании Googlebot

1. Введите в поле URL страницы, которую нужно проверить. Пустое поле соответствует корневому каталогу сайта. А если вы проверяете ресурс http://ваш_сайт.com, то по запросу  «рубрика/ваша_страница.com« будет обработана страница http://ваш_сайт/рубрика/ваша_страница.com.

   Ограничения:

   • Инструмент обрабатывает только URL, которые относятся к текущему сайту. Так, если это http://ваш_сайт.com, то страницы https://ваш_сайт.com и http://m.ваш_сайт.com не будут сканироваться.
   • Инструмент никуда не отправляет файлы cookie, учетные данные и иную информацию.
   • Инструмент не переходит по ссылкам переадресации. Если вы просматриваете страницу, на которой они есть, откройте их вручную (см. описание статуса «Перенаправлено» ниже).
2. При желании можно выбрать тип робота Google для просмотра. Это определяет и выполнение запроса «Получить и отобразить». Доступные варианты:
   1. Для ПК (по умолчанию).
   2. Для мобильных устройств (смартфонов).
   3. Для мобильных устройств: cHTML (в основном для японских мобильных телефонов среднего класса). Отображение не поддерживается.
   4. Для мобильных устройств: XHTML/WML (мобильных телефонов среднего класса). Отображение не поддерживается.
3. Нажмите Сканировать или Получить и отобразить.
   • Сканировать. Инструмент запрашивает указанный URL на вашем сайте и отображает ответ HTTP. Он не обращается к ресурсам страницы, например изображениям или скриптам. Это достаточно быстрая операция, которую можно использовать для проверки или отладки сетевого подключения или устранения проблем безопасности.
   • Получить и отобразить. Инструмент запрашивает указанный URL на вашем сайте, отображает ответ HTTP, а также страницу в соответствии с заданной платформой (обычный компьютер или мобильное устройство). В рамках этой операции запрашиваются и обрабатываются все ресурсы на странице, в том числе изображения и скрипты. Это позволит выявить различия между тем, как вашу страницу видят робот и пользователь.
4. Запрос попадет в таблицу истории сканирования с указанием, что он обрабатывается. Если запрос будет выполнен успешно, в строке появится информация о нем. Нажимая на строки с успешно просканированными ресурсами, изучите сведения о них, в том числе заголовки и данные HTTP-запроса, а при использовании команды «Получить и отобразить» – список заблокированных ресурсов и вид страницы.
5. Если запрос был успешно выполнен не более четырех часов назад, вы можете заказать повторное сканирование и, по возможности, повторную индексацию страницы наряду с ресурсами, на которые она ссылается.

Сканирование можно выполнять не более 500 раз в неделю. Если вы скоро достигнете этого предела, то появится уведомление.

Статусы запросов сканирования

В таблице истории сканирования показаны последние 100 запросов. Чтобы просмотреть подробные данные по любому из них, нажмите на его строку. Вы увидите один из следующих статусов:

• Выполнено. Наш робот успешно связался с вашим сайтом, просканировал страницу и получил все ресурсы, на которые она ссылается. Нажмите на строку таблицы, чтобы просмотреть подробные сведения.
• Частично выполнено. Робот видит ваш сайт, но некоторые ресурсы страницы заблокированы посредством файлов robots.txt. Если вы выполняли только сканирование, нажмите «Получить и отобразить». Изучите страницу и выясните, не заблокированы ли какие-либо ресурсы, в связи с чем корректная обработка данных стала невозможной. Если это так, измените файлы robots.txt, которые вы можете редактировать. Если же дело в файлах robots.txt, к которым у вас нет доступа, попросите их владельцев разблокировать нужные ресурсы. Советуем изучить описания ошибок сканирования.
• Перенаправлено. Это значит, что сервер перенаправил запрос. Сканер Google не выполняет такую операцию. В отличие от настоящего поискового робота Google, который при сканировании URL выполняет переадресацию, инструмент «Просмотреть как Googlebot» не в состоянии ее воспроизвести. Выполните ее вручную:
  • Если переадресация выполняется в рамках того же самого ресурса, вы увидите кнопку, позволяющую перейти по целевому адресу, добавив требуемый URL в поле.
  • Если URL ведет на другой принадлежащий вам ресурс, нажмите «Перейти» для автозаполнения адреса, скопируйте его, перейдите к новому сайту и вставьте URL в текстовое поле для сканирования.

  Проанализируйте ответ HTTP, просмотрев страницу подробных данных сканирования. Найдите код ошибки, а затем выполните эти инструкции. Переадресацию могут инициировать сервер, метатеги или код JavaScript на странице.

• Тип ошибки. В столбце «Статус» может отображаться ошибка при запросе на сканирование любого ресурса, связанного со страницей, которую вы проверяете. Примеры: Не найдено или Недоступен.

Ошибки сканирования ресурсов

Нажмите на строку со статусом Частично выполнено, чтобы увидеть таблицу с обнаруженными ошибками. Обычно они связаны с заблокированными ресурсами на странице.

Попробуйте определить причину проверив на ошибки работу файла robots.txt и sitemap.

Если у вас остались вопросы по сканированию Googlebot — пишите в комментариях.