Мета-тег <meta name = "robots"> прописують в частині <head> на сторінці. Він виконує ті ж функції, що файл robots.txt - надає можливість керувати індексацією контенту і посилань на сторінки через відповідні значення для атрибута content:

  • follow / nofollow - враховувати або не враховувати посилання;
  • index / noindex - індексувати або не індексувати вміст сторінки (часто текст);
  • all/none - скорочення, відповідне записам "follow, index" / "nofollow, noindex";
  • noarchive - заборона архівації сторінки. Використання цього значення виключає можливість доступу до сторінки з архіву пошукової системи.

На відміну від файлу robots.txt, однойменний мета-тег має обмежений функціонал. Він діє виключно в межах сторінки. В окремому файлі можна забороняти індексацію цілих каталогів. За іншими параметрами ці методи рівнозначні. Пошукові системи рекомендують використовувати мета-тег robots, коли веб-майстер не має доступу до кореневої папці ресурсу.

При виявленні суперечливих команд пріоритет віддається більш суворою. Наприклад, якщо в файлі буде index, а в мета-тезі - none, пошуковий робот проведе індексацію тексту.

Основні варіанти використання

Всі комбінації знаходять застосування в налаштуванні сайту. Вони дозволяють більш зрозуміло управляти вагою, забезпечивши додатковий захист від накладення фільтрів за неунікальний контент.

Застосування "content = follow, index" або "content = all"

Дозвіл індексації посилань і тексту встановлено за замовчуванням. Тому в більшості випадків прописувати даний код в мета-тезі не має сенсу. Виняток - сторінка знаходиться в каталозі, на який поширюється повна заборона індексації через robots.txt. Але такий підхід може ускладнити роботу з ресурсом через неочевидні поведінки коду. Їм краще знехтувати.

Застосування "content = nofollow, index"

Індексація контенту без переходу і обліку посилальної маси на сторінці використовується досить часто. Це дозволяє:

  • уникнути витоку ваги на інші ресурси або сторінки;
  • чіткіше керувати PR;
  • створювати сторінки з великою кількістю посилань. Наприклад, переліки корисних для користувачів лінків. Заборона індексації покаже пошуковому роботу, що це не спам і не переоптімізацію.

Мета-тег з подібним змістом не варто використовувати при обміні посиланнями з іншим ресурсом. Це, як мінімум, неетично, і може стати причиною розриву співпраці.

Застосування "content = follow, noindex"

Даний варіант вмісту тега підходить для анонсів, 2-й і наступних сторінок пагінації, превью, а також інших елементів, які дублюють основний контент. Посилальна вага буде передаватися. Пошуковий робот пройде по посиланнях для індексації їх вмісту.

Подібний варіант тега підходить, коли на сторінці розміщується неунікальний контент. Наприклад, нормативні та законодавчі акти, а також інші розхожі документи, куди не рекомендується вносити зміни.

Застосування "content = nofollow, noindex" або "content = none"

Заборона на індексацію текстів і посилань актуально використовувати для розміщення конфіденційної інформації, яка не повинна бути доступною по пошуковим запитам. Але подібні заходи працюють далеко не завжди. Це особливо актуально для пошукача від Google. Важливо пам'ятати, що для нього мета-тег має рекомендаційний характер.

У пошуку від Яндекс подібна проблема відсутня. Для обмеження індексації сторінки пошуковим роботом слід використовувати пароль або іншу ідентифікацію, що вимагає ручного введення. Тому деякі мають заборону індексації сторінки можуть потрапити в пошукову видачу.