Робот AdSense — принципы работы

Поисковый робот, который также называют «пауком», представляет собой программное средство, используемое системой Google для обработки и индексирования содержания веб-страниц. Робот AdSense заходит на ваш сайт и определяет его содержание с целью размещения релевантных объявлений.

Ниже приведены основные сведения о роботе AdSense.

  • Отчет робота обновляется еженедельно.Сканирование осуществляется автоматически; Гугл не принимает запросы на более частое сканирование.
  • Робот AdSense отличается от робота Google.Эти два робота работают отдельно, но используют общий кэш. Это сделано для того, чтобы избежать ситуаций, когда они одновременно запрашивают одни и те же страницы, и сохранить пропускную способность сайтов издателей. Также существует отдельный робот Search Console.
  • Устранение неполадок с роботом AdSense не решит проблемы с роботом Google.Устранение проблем, перечисленных на странице Доступ для робота AdSense, не окажет влияния на позицию вашего сайта в результатах Google Поиска.
  • Индексирование осуществляется по URL.Доступ робота к адресам site.com и www.site.com осуществляется раздельно. Однако робот не рассматривает site.com и site.com/#anchor как две разные страницы.
  • Робот не осуществляет доступ к страницам или каталогам, заблокированным в файле robots.txt.Роботы Google и AdSense Mediapartners учитывают информацию в файле robots.txt. Если файл robot.txt запрещает доступ к определенным страницам или каталогам, они не будут просканированы.
    Строка User-agent: * не запрещает сканирование страниц с рекламой. Чтобы запретить роботу AdSense доступ на ваши страницы, в файле robots.txt необходимо указать User-agent: Mediapartners-Google.
  • Робот пытается получить доступ только к URL с тегами объявлений Google.Только те страницы, на которых отображаются объявления Google, будут обращаться к нашим системам и сканироваться.
  • Робот пытается получить доступ к страницам, с которых осуществляется переадресация.Если с ваших «исходных страниц» выполняется переадресация, роботу необходим доступ к ним, чтобы определить ее наличие. Поэтому в журналах доступа регистрируются посещения роботом исходных страниц.
  • Повторное сканирование сайта.В настоящее время Гугл не может управлять частотой сканирования: роботы выполняют его автоматически. Если вы что-то поменяете на странице, может пройти 1 или 2 недели, прежде чем это отразится в индексе Гугл.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

  bigmir)net TOP 100  - .  E-mail: sitesnulyaru@gmail.com