Панель веб-мастеров Google
В панели Гугл ВебМастер следует выбрать пункт «Оптимизация», а в нем – «Оптимизация HTML». В получившейся таблице необходимо обратить внимание на 2 пункта:повторяющиеся мета-описания;
повторяющиеся заголовки.
Клик по каждому из них открывает доступ к дублирующим страницам. После того, как все неканонические дубли будут найдены, их можно удалить (если они не нужны), проставить ссылку на канонический адрес или использовать 301 редирект для склеивания зеркал.
Страницы с повторяющимся контентом необходимо сохранять, когда они созданы специально – например, для мобильной версии сайта или варианта для печати. Текст может повторяться – например, на главной и в категориях товаров (часто в интернет-магазинах). В этом случае один из вариантов лучше переписать.
Через строку поиска

малоинформативные страницы;
частичные дубли.
Они рассматриваются системой, как лишние, неинформативные или спамные, что понижает общие позиции сайта в поисковой выдаче. Пункт «повтор поиска с упущенными результатами» предоставляет возможность увидеть более целостную картину происходящего.
В поисковой системе Яндекс частичные дубли можно искать по отдельным частям текста. Она показывает все результаты в пределах сайта, позволяя устранить проблемные места.
Xenu
Специальная программа для оптимизации ресурса – еще один вариант поиска дублей. Она может оказаться более эффективной. Это актуально, если сайт существует относительно недавно, и в индекс попали не все канонические или продублированные страницы. Программа анализирует сайт независимо. Она отображает дублирующийся контент, и сокращает сроки устранения этой проблемы.Почему возникают дубли
Существует несколько причин появления дублей:особенности работы движка сайта. Многие CMS дублируют страницы под другими адресами для решения определенных задач. Существующие плагины и теги предоставляют возможность избавиться от этой проблемы;
неопытность веб-мастера. Это особенно актуально на больших сайтах. Выявить и устранить все ошибки сразу не выйдет. Периодическая проверка и оптимизация снизят вероятность их появления;
непродуманный код. Отсутствие редиректов, метатегов и неправильная работа 404 страницы – частая причина появления дублей;
много одинакового контента. Такая проблема критична для крупных интернет-магазинов с большим количеством одинаковых товаров. Чтобы поисковый робот не воспринимал описания, как спам, их можно выводить через Ajax или iFrame.
Какие проблемы могут вызвать дубли страниц:
понижение рейтинга по причине спамности;
рассредоточение ссылочного веса. Естественные ссылки от пользователей на дублированные страницы дают меньший эффект;
потеря внутреннего веса.
Устранение дублей страниц – важная задача, которую надлежит выполнять периодически.