Хотите оставить заявку? Появились вопросы? Наша служба поддержки всегда на связи.
Контакты
Телефоны:
+7 499 404 22 63
+7 812 602 74 94
Email: info@itviz.biz

Блог

Главная  /  SEO   /  Дубли страниц: найти и обезвредить!

Дубли страниц: найти и обезвредить!

dubli-stranic-najti-i-obezvredit

Дубли – это копии страниц, размещенные на разных URL-адресах. Такого рода повторения сказываются весьма негативно на индексации сайтов поисковиками.

 

Виды дублей

Перед тем, как приступить к поиску “клонированного” содержимого на своем ресурсе, вы должны  определиться с его видовой принадлежностью. Существует три категории повторений – полные, неполные, внешние.

  • Неполные. Контент дублируется частично на других страницах, не являющимися полными копиями. К примеру, отдельные текстовые фрагменты, карточки товаров повторяются сразу на нескольких страницах, отличаясь друг от друга лишь незначительными деталями.
  • Полные. Одна и та же страница размещается по разным URL.
  • Внешние. Частичное или же полное дублирование содержимого на разных ресурсах.

Отдельно стоит сказать о технических дублях, возникающих автоматически из-за неправильной настройки CMS сайта, и клонах, сделанных человеком по невнимательности.

 

Опасность повторов в деле популяризации ресурса

В случае индексации тождественного контента перед поисковыми системами встает дилемма: какой из страниц отдать предпочтение. Как результат:

  • Повышается нагрузка при обходе сайта. Клонированные страницы увеличивают общий вес ресурса, из-за чего ботам приходится обрабатывать лишнюю информацию. Проблема заключается  в том, что лимит обрабатываемых в течение одного сканирования поисковым роботом страниц строго ограничен, и нужный контент рискует попросту не попасть в индекс.
  • Меняется релевантная страница в выдаче. Поисковый алгоритм может выбрать дубль вместо оригинала. Также есть риск блокировки всех одинаковых источников по причине конкуренции.
  • Теряется ссылочный вес продвигаемой страницы. Ссылки от посетителей будут вести на дубли, что в конечном итоге станет причиной потери естественной ссылочной массы.         

Именно такие опасности вынуждают специалистов предпринимать попытки поиска и устранения повторяющегося контента. Это ключевой этап внутренней  оптимизации сайта.

 

Какими способами можно обнаружить дубли?

В качестве вариантов поиска могут использоваться специальные программы, инструменты поисковых систем, сервисы, и даже ручной подход, впрочем, данный метод потребует определенного мастерства и опыта.

  • Компьютерные программы и виртуальные сервисы. Обратите внимание на три наиболее популярных программных парсера: Xenu, Netpeak Spider, а также Screaming Frog Seo Spider. С их помощью  можно получить полный список адресов, разделив их по совпадениям тегов «Title» и «Description», тем самым выявив повторы.
  • Возможности поисковых систем. Чтобы обнаружить проблемы, первым делом необходимо изучить страницы, прошедшие индексацию. Для этого рекомендуется использовать поискового оператора «site». Заполняем поисковую строку Google следующим образом: «site:название сайта.net». Так мы получим информацию об общем количестве находящихся в индексе страниц. Проведя сравнение с тем, что нашли десктопные программы, сможем сделать вывод о наличии дублей.
  • Консоль Google. Перейдите к инструменту Google Search Console и откройте вкладку «Оптимизация HTML». Так мы получим доступ к статистике повторов в заголовках страниц. Выявить дубли можно и через Яндекс.Вебмастер.
  • Ручной поиск. Этот метод требует определенного опыта и понимания проблемных мест, в которых скрываются клоны. Специалисты способны быстро отыскать повторы, перебирая разные варианты URL.

На главной странице встречаются дубли нескольких типов: название сайта.ru/; www.название сайта.ru; http://название сайта.ru/index.html; название сайта.ru/index.php; http://название сайта.ru/index.php; http://www.название сайта.ru; http://www.название сайта.ru/index.html; http://www.название сайта.ru/index.php. Определить наличие таких клонов можно путем копирования приведенных ссылок в поисковую строку браузера, заменив «название сайта.ru» на адрес интересующего ресурса.   

 

Избавляемся от повторяющихся страниц

На самом деле способов избавления от дублей контента немного, да и те, что имеются, сводятся к:

  • запрету индексации посредством настройки robots.txt. Данный способ не позволяет изменить правила индексации для каждой страницы, только для групп. В качестве основного инструмента используется директива «Disallow», прописанная для всех поисковиков — User-agent;
  • ручному поиску и физическому удалению;
  • настройке 301 редиректов, путем внесения изменений в файл конфигурации «.htaccess». В результате запросы будут перенаправлены с дублей на оригинальный источник. Данный метод эффективен в ситуациях, когда повторы возникают из-за ошибок в структуре подчиненности URL, определения главного зеркала сайта, проблем с применением слешей в создании адреса;
  • установке тега «rel=canonical». Функция предоставляется Google. Её суть заключается во встраивании данного тега в код каждой повторяющейся страницы.  Таким образом, поисковому боту дается указание на индексацию главной страницы.

Очень часто решение проблем с повторяющимся контентом скрывается в настройке CMS, устранить которые можно путем внесения соответствующих корректив.

Комментариев нет
Оставьте комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.