Основные варианты использования
Все комбинации находят применение в настройке сайта. Они позволяют более понятно управлять весом, обеспечив дополнительную защиту от наложения фильтров за неуникальный контент.
Применение "content = follow, index" или "content = all"
Разрешение индексации ссылок и текста установлено по умолчанию. Поэтому в большинстве случаев прописывать данный код в мета-теге не имеет смысла. Исключение – страница находится в каталоге, на который распространяется полный запрет индексации через robots.txt. Но такой подход может усложнить работу с ресурсом по причине неочевидного поведения кода. Им лучше пренебречь.
Применение "content = nofollow, index"
Индексация контента без перехода и учета ссылочной массы на странице используется достаточно часто. Это позволяет:
избежать утечки веса на другие ресурсы или странички;
более четко управлять PR;
создавать страницы с большим количеством ссылок. Например, перечни полезных для пользователей линков. Запрет индексации покажет поисковому роботу, что это не спам и не переоптимизация.
Мета-тег с подобным содержанием не стоит использовать при обмене ссылками с другим ресурсом. Это, как минимум, неэтично, и может стать причиной разрыва сотрудничества.
Применение "content = follow, noindex"
Данный вариант содержимого тега подходит для анонсов, 2-й и следующих страниц пагинации, превью, а также других элементов, дублирующих основной контент. Ссылочный вес будет передаваться. Поисковый робот пройдет по ссылкам для индексации их содержимого.Подобный вариант тега подходит, когда на странице размещается неуникальный контент. Например, нормативные и законодательные акты, а также прочие расхожие документы, куда не рекомендуется вносить изменения.
Применение "content = nofollow, noindex" или "content = none"
Запрет на индексацию текстов и ссылок актуально использовать для размещения конфиденциальной информации, которая не должна быть доступной по поисковым запросам. Но подобные меры работают далеко не всегда. Это особенно актуально для поисковика от Google. Важно помнить, что для него мета-тег носит рекомендательный характер.В поиске от Яндекс подобная проблема отсутствует. Для ограничения индексации страницы поисковым роботом следует использовать пароль или другую идентификацию, требующую ручного ввода. Поэтому некоторые имеющие запрет индексации страницы могут попасть в поисковую выдачу.