Дублі сторінок сайту можуть бути повними і неповними. Перші повністю повторюють канонічні сторінки, другі роблять це частково (опис товарів, інших блоків текстів).

Існує кілька варіантів їх пошуку. Простіше знайти повні дублі. Для виявлення часткових доведеться витратити більше часу і зусиль. Даний процес не підлягає автоматизації.

Дубльовані сторінки незначно впливають на ранжування в інших пошукових системах, але Гугл відноситься до них критичніше. Він може істотно занижувати позиції в пошуковій видачі.

Панель веб-майстрів Google

В панелі Гугл вебмайстрів слід вибрати пункт «Оптимізація», а в ньому - «Оптимізація HTML». У таблиці необхідно звернути увагу на 2 пункти:
  • повторювані мета-описи;
  • повторювані заголовки.

Клік по кожному з них відкриває доступ до дублюючих сторінок. Після того, як всі неканонічні дублі будуть знайдені, їх можна видалити (якщо вони не потрібні), проставити посилання на канонічну адресу або використовувати 301 редирект для склеювання дзеркал.

Сторінки з повторюваним контентом необхідно зберігати, коли вони створені спеціально - наприклад, для мобільної версії сайту або варіанти для друку. Текст може повторюватися - наприклад, на головній і в категоріях товарів (часто в інтернет-магазинах ). У цьому випадку один з варіантів краще переписати.

Через рядок пошуку

У пошуковому рядку необхідно ввести конструкцію «site: адреса_вашого_сайту -site: адреса_вашого_сайту / &». Вона відобразить всі сторінки сайту із загального індексу, за винятком що знаходяться в основному індексі. Ця конструкція дозволяє виявити:
  • малоінформативні сторінки;
  • часткові дублі.

Вони розглядаються системою, як зайві, неінформативні або спамні, що знижує загальні позиції сайту в пошуковій видачі. Пункт «повтор пошуку з втраченими результатами» надає можливість побачити більш цілісну картину того, що відбувається.

У пошуковій системі Яндекс часткові дублі можна шукати по окремих частинах тексту. Вона показує всі результати в межах сайту, дозволяючи усунути проблемні місця.

Xenu

Спеціальна програма для оптимізації ресурсу - ще один варіант пошуку дублів. Вона може виявитися більш ефективною. Це актуально, якщо сайт існує відносно недавно, і в індекс потрапили не всі канонічні чи продубльовані сторінки. Програма аналізує сайт незалежно. Вона відображає дублюючийся контент, і скорочує терміни усунення цієї проблеми.

Чому виникають дублі

Існує кілька причин появи дублів:
  • особливості роботи движка сайту. Багато CMS дублюють сторінки під іншими адресами для вирішення певних завдань. Існуючі плагіни і теги надають можливість позбутися від цієї проблеми;
  • недосвідченість веб-майстра. Це особливо актуально на великих сайтах. Виявити і усунути всі помилки відразу не вийде. Періодична перевірка і оптимізація знизять ймовірність їх появи;
  • непродуманий код. Відсутність редиректів, метатегов і неправильна робота 404 сторінки - часта причина появи дублів;
  • багато однакового контенту. Така проблема критична для великих інтернет-магазинів з великою кількістю однакових товарів. Щоб пошуковий робот не сприймав опису, як спам, їх можна виводити через Ajax або iFrame.

Які проблеми можуть викликати дублі сторінок:

  • зниження рейтингу через спамності;
  • розосередження посилальної ваги. Природні посилання від користувачів на дубльовані сторінки дають менший ефект;
  • накладення фільтрів ;
  • втрата внутрішньої ваги.

Усунення дублів сторінок - важливе завдання, яке належить виконувати періодично.