Дублированный контент на сайте

Сегодня мы на sitesnulya.ru мы хотим поговорить о повторяющемся контенте. Довольно часто его ещё называют дублированным.


Под дублями обычно понимают большие блоки информации в рамках одного или нескольких доменов, содержание которых либо полностью совпадает, либо почти не отличается. А иногда и целые страницы, которые полностью одинаковые, но находятся по разным адресам.

Как правило, в данном случае не преследуется цель ввода пользователя в заблуждение. Повторяющийся контент может использоваться без злого умысла, например:

  • страницы форумов в обычных версиях сайтов и версиях для мобильных устройств;
  • товары в интернет-магазине, показываемые при переходе по разным URL;
  • версии страниц для печати;
  • страницы с комментариями.

Однако в некоторых случаях контент намеренно дублируется в разных доменах с целью манипулирования рейтингом в поисковой системе или увеличения объема трафика. Использование обманных приемов, подобных этому, может оставить у пользователей негативное впечатление, так как в результатах поиска они будут видеть практически один и тот же многократно повторяющийся контент.

Google делает все возможное, чтобы индексировать и показывать страницы с уникальной информацией. Например, если на вашем сайте имеются «стандартная» и «печатная» версии каждой статьи, не отмеченные метатэгом noindex, в результатах поиска будет отображаться только одна из них.

Но, если вам не повезло, и поисковик определил, что дубли появились с целью манипуляции рейтинга, ,будут внесены изменения в индекс и рейтинг сайта. В связи с этим позиция в выдаче этих страниц, а возможно и всего ресурса резко упадёт. В самом плохом случае, сайт вообщем может быть удален из индекса.

Как избежать появления дублированного контента:

  • Используйте 301. Если вы изменили структуру своего сайта, используйте переадресацию 301 («постоянную переадресацию») в файле .htaccess для быстрой переадресации пользователей, робота Google и различных «пауков». (Для Apache это можно сделать с помощью файла .htaccess. Для IIS – через консоль администратора.)
  • Будьте последовательны. Старайтесь использовать внутренние ссылки последовательно. Например, не создавайте ссылки на страницы http://www.example.com/page/, http://www.example.com/page иhttp://www.example.com/page/index.htm.
  • Используйте домены верхнего уровня. Чтобы помочь нам выбрать самую подходящую версию документа, используйте домены верхнего уровня во всех возможных случаях для показа контента, предназначенного для конкретной страны. Например, контент, связанный с Россией, рекомендуется размещать на сайтеhttp://www.example.ru, а не на сайте http://www.example.com/ru или http://ru.example.com.
  • Будьте осторожны при индикации. Если вы предоставляете свой контент другим сайтам, то при каждом поисковом запросе Google всегда будет показывать ту версию, которую считает наиболее приемлемой для пользователей. Эта версия необязательно совпадает с той, которую выбрали бы вы. Однако стоит удостовериться, что на всех сайтах, на которых размещается ваш контент, имеется ссылка на исходную статью. Вы также можете попросить владельцев сайтов, использующих ваш синдицированный материал, заблокировать его с помощью метатега noindex, чтобы поисковые системы не включали в индекс их версии.
  • Используйте Search Console, чтобы уведомить Google o предпочтительном для вас методе индексирования.Вы можете, в частности, указать главный домен (например, http://www.example.com илиhttp://example.com).
  • Избегайте шаблонных повторений. Например, вместо того чтобы помещать весь текст об авторских правах в нижней части каждой страницы, указывайте только самые основные сведения со ссылкой на страницу, на которой приводится подробная версия. Кроме того, с помощью инструмента Параметры URL можно выбрать предпочтительный способ обработки параметров URL в Google.
  • Не применяйте программные «заглушки». Пользователям неинтересны пустые страницы. Например, не публикуйте страницы, содержание которых ещё не готово. Если же без страниц-заполнителей не обойтись, заблокируйте их с помощью метатега noindex, чтобы они не индексировались.
  • Изучите свою систему управления контентом. Ознакомьтесь с тем, каким образом содержание показывается на вашем сайте. В блогах, на форумах и в других подобных системах один и тот же контент часто отображается в нескольких форматах. Например, запись блога может появиться на главной странице блога, на странице с архивами, а также на странице с другими записями – и всегда под одним названием.
  • Уменьшите количество похожего контента. Если на вашем сайте много похожих страниц, добавьте на каждую из них уникальный контент или объедините их в одну. Предположим, у вас туристический сайт с отдельными страницами для двух городов, где представлена одна и та же информация. Вы можете вместо них разместить страницу с описанием обоих городов, или добавить на каждую уникальные материалы.

Как поступать с дублированным контентом

Google не рекомендует блокировать доступ поисковых роботов к повторяющемуся контенту с помощью файла robots.txt или иных способов.

Если поисковые системы не имеют возможности сканировать страницы с таким содержанием, то они не смогут автоматически определять, что разные URL имеют одинаковый контент, и будут обращаться с ними как с уникальными страницами.

Лучше всего разрешить сканирование этих URL, но при этом пометить их как точные копии с помощью ссылки rel="canonical", инструмента обработки параметров URL или переадресации 301. Если наличие многочисленных копий значительно замедляет сканирование страниц,настройте частоту сканирования в Search Console.

Наличие на сайте повторяющегося контента не является основанием для принятия каких-либо мер по отношению к нему. Такие меры применяются только в том случае, если это сделано с целью ввести пользователей в заблуждение или манипулировать результатами поиска. Если у вас возникают проблемы из-за повторяющегося содержания, но вы не последовали приведенным выше советам, то мы выберем версию контента для показа в результатах поиска на свое усмотрение.

Однако если результаты проверки показали, что вы использовали обманные приемы и ваш сайт был удален из результатов поиска, внимательно изучите свой сайт. Ознакомьтесь с  руководством для веб-мастеров и внесите необходимые изменения. И только потом отправьте запрос на перепроверку.

В некоторых случаях алгоритмы Google могут выбрать URL стороннего сайта, на котором без разрешения размещены копии ваших материалов. Если ваше содержание было размешено на другом сайте с нарушением авторских прав, попросите его владельца удалить это содержание.

Вы также можете отправить в Google запрос об удалении страницы, нарушающей авторские права, из результатов поиска. Для этого нужно отправить уведомление о нарушении Закона США «Об авторском праве в цифровую эпоху».

Надеемся, что эта статья поможет вам улучшить свой блог или сайт. По любым вопросам пишите в комментариях.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

  bigmir)net TOP 100  - .  E-mail: sitesnulyaru@gmail.com