Файл Robots.txt. Що це і навіщо він потрібен? SEO – Evolution SEO – Evolution

Файл Robots.txt. Що це і навіщо він потрібен?

Файл robots.txt призначений для зберігання рекомендацій пошуковим роботам з описом адрес сторінок та елементів, які не потрібно індексувати. Більшість таких програм слідують визначеному переліку. Але для повної заборони індексації необхідно використовувати додаткові заходи - метатеги «noindex» і спеціальні атрибути посилань «nofollow».

Особливості файлу robots.txt:

  • може бути тільки один;

  • зберігається в кореневому каталозі;

  • назва строго robots.txt;

  • синтаксис рекомендацій відповідає стандартам.

Результатом порушення цих правил стане ігнорування рекомендацій з боку пошукового робота. Індексація буде здійснюватися відповідно до внутрішнього алгоритму програми. Тому деякі важливі сторінки можуть бути відскановані пізніше.

Навіщо приховувати окремі сторінки від пошукової індексації:

  • адміністративні та допоміжні файли. Вони не несуть смислового навантаження, завантажують сервер;

  • сторінки з ідентичним контентом. Кілька сторінок, що містять однакові тексти, можуть сприйматися пошуковою системою, як спам. Це тягне на бан;

  • захист персональних даних. Зберігання особистої інформації і паролів може здійснюватися в окремих файлах. Заборона в robots.txt - один із заходів захисту від їх знаходження. Більш надійний спосіб - відсутність посилань, що посилаються на ці сторінки . Можна встановити пароль на доступ до файлу.

Вміст User-agent

Рядок «User-agent» в robots.txt вказує назву пошукового робота, для якого заборонена індексація. Якщо необхідно зробити заборону для всіх програм, пишеться наступна рядок:

User-agent: *

де «*» означає всі пошукові роботи. Рядок «User-agent» - потужний інструмент. Якщо на сайті присутня окрема мобільна версія, можна заборонити індексацію сторінок, призначених для робочого столу і, які містять аналогічний контент для мобільного пошуковика. Те ж саме діє в зворотному випадку. Рядок «User-agent» починає інструкції для кожного пошукача. Можна написати окремі рекомендації для кожної пошукової системи, якщо це необхідно.

Вміст «Disallow»

robots«Disallow» - команда, після якої можна побачити адресу сторінки або каталогу, забороненого до індексації. Правильне використання цього інструменту надасть можливість оптимально направити пошукового робота.

Доброю практикою використання «Disallow» для великої кількості файлів, що зберігаються в одному каталозі буде переміщення в іншу папку, замість заборони кожного елемента окремо. У даній інструкції можна вказати конкретні адреси і спеціальні символи, що надають можливість забороняти цілі блоки лінків з конкретними елементами в написанні.

Протилежна за дією команда «Allow». Вона показує адресу, який необхідно проіндексувати. Практика використання цієї інструкції обмежена, так як всі незаборонені для сканування пошуковим роботом сторінки підпадають під індексацію.

Окремий випадок застосування «Allow» - можливість вказівки окремого файлу для індексації, що знаходиться в закритому каталозі (який вказаний в «Disallow»). Вдаватися до подібного підходу рекомендується, коли не виходить перенести сторінку за межі забороненої папки без втрати структури.

«Host» та «Sitemap»

Інструкція «Host» застосовується виключно для пошукової машини Яндекс. Вона дозволяє вказувати основне дзеркало ресурсу з «www» або без нього.

Команда «Sitemap» містить правильну адресу файлу з картою сайту. Це дозволяє прискорити індексування.

Пошуковий робот першим перевіряє файл robots.txt. Якщо він правильно складений, сайт буде краще скануватися. Правильність його складання перевіряється SEO-фахівцями в ході проведення пошукового аудиту сайту, технічного та комплексного.

Поділитися в соц.сетях