Мета-тег (meta name=”robots”). Что это и зачем он нужен?
Мета-тег <meta name=”robots”> прописывают в части <head> на странице. Он выполняет те же функции, что файл robots.txt – предоставляет возможность управлять индексацией контента и ссылок на страницы через соответствующие значения для атрибута content:
follow/nofollow – учитывать или не учитывать ссылки;
index/noindex – индексировать или не индексировать содержимое страницы (зачастую текст);
all/none – сокращение, соответствующее записям "follow, index"/"nofollow, noindex";
noarchive – запрет архивации страницы. Использование этого значения исключает возможность доступа к странице из архива поисковой системы.
В отличие от файла robots.txt, одноименный мета-тег имеет несколько ограниченный функционал. Он действует исключительно в пределах страницы. В отдельном файле можно запрещать индексацию целых каталогов. По остальным параметрам эти методы равнозначны. Поисковые системы рекомендуют использовать мета-тег robots, когда веб-мастер не имеет доступа к корневой папке ресурса.
При выявлении противоречивых команд приоритет отдается более строгой. Например, если в файле будет index, а в мета-теге – none, поисковый робот проведет индексацию текста.
Основные варианты использования
Все комбинации находят применение в настройке сайта. Они позволяют более понятно управлять весом, обеспечив дополнительную защиту от наложения фильтров за неуникальный контент.
Применение "content = follow, index" или "content = all"
Разрешение индексации ссылок и текста установлено по умолчанию. Поэтому в большинстве случаев прописывать данный код в мета-теге не имеет смысла. Исключение – страница находится в каталоге, на который распространяется полный запрет индексации через robots.txt. Но такой подход может усложнить работу с ресурсом по причине неочевидного поведения кода. Им лучше пренебречь.
Применение "content = nofollow, index"
Индексация контента без перехода и учета ссылочной массы на странице используется достаточно часто. Это позволяет:
избежать утечки веса на другие ресурсы или странички;
более четко управлять PR;
создавать страницы с большим количеством ссылок. Например, перечни полезных для пользователей линков. Запрет индексации покажет поисковому роботу, что это не спам и не переоптимизация.
Мета-тег с подобным содержанием не стоит использовать при обмене ссылками с другим ресурсом. Это, как минимум, неэтично, и может стать причиной разрыва сотрудничества.
Применение "content = follow, noindex"
Данный вариант содержимого тега подходит для анонсов, 2-й и следующих страниц пагинации, превью, а также других элементов, дублирующих основной контент. Ссылочный вес будет передаваться. Поисковый робот пройдет по ссылкам для индексации их содержимого.Подобный вариант тега подходит, когда на странице размещается неуникальный контент. Например, нормативные и законодательные акты, а также прочие расхожие документы, куда не рекомендуется вносить изменения.
Применение "content = nofollow, noindex" или "content = none"
Запрет на индексацию текстов и ссылок актуально использовать для размещения конфиденциальной информации, которая не должна быть доступной по поисковым запросам. Но подобные меры работают далеко не всегда. Это особенно актуально для поисковика от Google. Важно помнить, что для него мета-тег носит рекомендательный характер.В поиске от Яндекс подобная проблема отсутствует. Для ограничения индексации страницы поисковым роботом следует использовать пароль или другую идентификацию, требующую ручного ввода. Поэтому некоторые имеющие запрет индексации страницы могут попасть в поисковую выдачу.
