Ответы на частые вопросы по индексации страниц в Яндексе

Процесс индексации страниц в поисковых системах для владельцев блогов или сайтов очень важная тема. Они прикладывают много усилий и времени, чтобы понять его особенности — иногда для ускорения, иногда чтобы узнать, как нужно писать статьи и их описание, чтобы сразу попадать в топ поисковой выдачи или же наоборот, хотят чтобы определенные страницы робот обходил стороной.

Но входе всего этого могут появиться некоторые проблемы, вопросы или трудности, которые необходимо решать как можно быстрее, чтобы не пострадал интернет-ресурс и его репутация.

Напомним, прочитать о том как узнать проиндексированные страницы в Яндекс можно по указанной ссылке и, соответственно, для Google.

Сегодня мы постараемся ответить на самые распространенные вопросы по индексации именно в российском поисковике.

Индексация страниц в Яндекс — ответы на вопросы

  1. Какие страницы могут не включаться в поисковую базу?

Каждый день Яндекс индексирует миллионы веб-страниц и добавляет их в поисковую базу. Чтобы не заполнять ее документами, которые все равно не попадут в результаты поиска, Яндекс анализирует каждый документ с помощью специального алгоритма.

Если алгоритм определяет, что страница не сможет стать одним из наиболее релевантных ответов на какой-либо запрос, то она не включается в текущую поисковую базу.

Таким образом, не все документы, которые были проиндексированы, можно увидеть в поиске Яндекса. Важно, что исключение страницы из поисковой базы никак не влияет на ее посещаемость и посещаемость сайта в целом, так как эта страница все равно не появлялась бы в поиске.

Кроме того, Яндекс продолжает переиндексировать и анализировать эти документы точно так же, как и все другие. Если на каком-то этапе алгоритм обнаружит, что страница может попасть в результаты поиска, она будет добавлена в поисковую базу.

2. Что такое дублирование страниц?

Это очень распространенное явление, когда на сайте страниц с одинаковым содержанием, но доступных по разным адресам.

Самая частая причина возникновения — неправильно настроенные комментарии, когда их добавление привод к созданию новых страниц.

Если все дублированные страницы были проиндексированы роботом Яндекса, система индексации объединит их в группу дублей. В поисковую выдачу войдет только одна из этих страниц.

Чтобы оставить в поисковой выдаче нужную страницу, необходимо явно указать ее для робота, а лучше запретить индексацию деблей указав их признаки в файле robots.txt через панель вебмастера. Кстати, появилась новая вервия Яндекс вебмастера.

Это можно сделать следующими способами:

  • Установите редирект 301 с одной дублирующей страницы на другую. В этом случае при поиске будет учитываться цель установленного перенаправления.
  • Укажите предпочитаемый (канонический) адрес страницы, который будет участвовать в поиске. Лучше всего, чтобы это был человеко понятный урл (URL).

3. Если мой сайт переехал (изменился URL). Что делать?

Сообщите роботу про новый сайт через форму Сообщить о новом сайте в панели вебмастера. Если между страницами старого и нового сайта сохранилось однозначное соответствие, сделайте так, чтобы при обращении по старому URL сервером выдавалась ошибка 301 ( «Moved Permanently» ), то есть осуществлялось перенаправление на новый сайт.

4. Робот Яндекс перегружает сайт при сканировании

Повлиять на поведение робота можно при помощи файла robots.txt. Напишите в нем запрет для робота Яндекса на обращение к скриптам, которые сильно загружают сервер или воспользуйтесь директивой Crawl-delay.

5. Почему Яндекс индексирует битые ссылки?

Робот берет ссылки с других страниц вашего сайта, интернет-ресурсов, которые ведут на несуществующие страницы. Из-за этого и возникают битые ссылки.

Причиной этого может быть изменение структуры вашего проекта, адреса конкретной страницы и т.п., из-за чего данные стали некорректными.

6. Почему страницы моего сайта периодически пропадают и появляются в индексе Яндекса? 

Если при обращении к странице иногда возникает ошибка (например, из-за нестабильного хостинга), робот удаляет страницу из поиска до следующего успешного обращения. И так по кругу.

7. Какие протоколы передачи данных поддерживаются при индексировании?

Яндекс в настоящее время поддерживает два протокола: HTTP и HTTPS.

Если у вас возникли другие трудности или проблемы с индексацией в Яндексе — пишите вопросы в комментариях и мы постараемся помочь.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

  bigmir)net TOP 100  - .  E-mail: sitesnulyaru@gmail.com