Как обнаружить дубли страниц сайта? Дубли страниц сайта могут быть полными и неполными. Первые полностью повторяют каноничные страницы, вторые делают это частично (описание товаров, других блоков текстов). Существует несколько вариантов их поиска. Проще найти полные дубли. Для выявления частичных придется потратить больше времени и усилий. Данный процесс не подлежит автоматизации. Дублированные страницы незначительно влияют на ранжирование в Яндекс. Но Гугл относится к ним более критично. Он может существенно занижать позиции в поисковой выдаче. Панель веб-мастеров Google В панели Гугл ВебМастер следует выбрать пункт «Оптимизация», а в нем – «Оптимизация HTML». В получившейся таблице необходимо обратить внимание на 2 пункта: повторяющиеся мета-описания; повторяющиеся заголовки. Клик по каждому из них открывает доступ к дублирующим страницам. После того, как все неканонические дубли будут найдены, их можно удалить (если они не нужны), проставить ссылку на канонический адрес или использовать 301 редирект для склеивания зеркал. Страницы с повторяющимся контентом необходимо сохранять, когда они созданы специально – например, для мобильной версии сайта или варианта для печати. Текст может повторяться – например, на главной и в категориях товаров (часто в интернет-магазинах). В этом случае один из вариантов лучше переписать. Через строку поиска В поисковой строке необходимо ввести конструкцию «site:адрес_вашего_сайта -site:адрес_вашего_сайта/&». Она отразит все страницы сайта из общего индекса за исключением находящихся в основном индексе. Эта конструкция позволяет выявить: малоинформативные страницы; частичные дубли. Они рассматриваются системой, как лишние, неинформативные или спамные, что понижает общие позиции сайта в поисковой выдаче. Пункт «повтор поиска с упущенными результатами» предоставляет возможность увидеть более целостную картину происходящего. В поисковой системе Яндекс частичные дубли можно искать по отдельным частям текста. Она показывает все результаты в пределах сайта, позволяя устранить проблемные места. Xenu Специальная программа для оптимизации ресурса – еще один вариант поиска дублей. Она может оказаться более эффективной. Это актуально, если сайт существует относительно недавно, и в индекс попали не все канонические или продублированные страницы. Программа анализирует сайт независимо. Она отображает дублирующийся контент, и сокращает сроки устранения этой проблемы. Почему возникают дубли Существует несколько причин появления дублей: особенности работы движка сайта. Многие CMS дублируют страницы под другими адресами для решения определенных задач. Существующие плагины и теги предоставляют возможность избавиться от этой проблемы; неопытность веб-мастера. Это особенно актуально на больших сайтах. Выявить и устранить все ошибки сразу не выйдет. Периодическая проверка и оптимизация снизят вероятность их появления; непродуманный код. Отсутствие редиректов, метатегов и неправильная работа 404 страницы – частая причина появления дублей; много одинакового контента. Такая проблема критична для крупных интернет-магазинов с большим количеством одинаковых товаров. Чтобы поисковый робот не воспринимал описания, как спам, их можно выводить через Ajax или iFrame. Какие проблемы могут вызвать дубли страниц: понижение рейтинга по причине спамности; рассредоточение ссылочного веса. Естественные ссылки от пользователей на дублированные страницы дают меньший эффект; наложение фильтров ; потеря внутреннего веса. Устранение дублей страниц – важная задача, которую надлежит выполнять периодически.
