Meta Robots Tag (мета-тег robots) — це HTML-тег у секції <head> сторінки, який дає пошуковим роботам вказівки щодо її індексації та переходу за посиланнями. Дві основні пари директив — index/noindex (додавати сторінку в індекс чи ні) та follow/nofollow (переходити за посиланнями на ній чи ні).
Простими словами: це записка для робота на конкретній сторінці — «мене показуй у пошуку, а мене пропусти». На відміну від robots.txt, який керує доступом на рівні всього сайту, цей тег діє точково.
Що таке Meta Robots Tag і навіщо він потрібен
Іноді сторінку не варто показувати в пошуку: службові сторінки, результати внутрішнього пошуку, дублі, «кошик», сторінки подяки. Саме для таких випадків потрібен meta robots tag із директивою noindex — вона прибирає сторінку з індексу, не ховаючи її від користувачів. Це чистий і надійний спосіб керувати тим, що потрапляє у видачу, а що ні.
Основні директиви
- index / noindex — індексувати сторінку чи виключити з пошуку.
- follow / nofollow — передавати вагу за посиланнями на сторінці чи ні.
- noarchive — не зберігати кешовану копію.
- nosnippet — не показувати текстовий сніпет у видачі.
- max-snippet, max-image-preview — обмеження на розмір сніпета й прев’ю.
Синтаксис і приклад коду
<!-- закрити сторінку від індексації, але дозволити перехід по посиланнях -->
<meta name="robots" content="noindex, follow">
<!-- індексувати й ходити по посиланнях (значення за замовчуванням) -->
<meta name="robots" content="index, follow">
<!-- вказівка лише для Googlebot -->
<meta name="googlebot" content="noindex">Приклад
На сайті інтернет-магазину сторінки фільтрів (колір, розмір, ціна) плодять тисячі майже однакових URL. Щоб вони не засмічували індекс, на них ставлять <meta name="robots" content="noindex, follow">: сторінка зникає з видачі, але робот далі ходить по посиланнях і бачить товари. Так краулінговий бюджет витрачається на важливі сторінки.
Часто плутають з…
- robots.txt — керує скануванням на рівні сайту; meta robots tag керує індексацією окремої сторінки. Якщо закрити сторінку в robots.txt, робот її не прочитає — і не побачить
noindexу коді. - X-Robots-Tag — ті самі директиви, але передані через HTTP-заголовок; зручні для не-HTML файлів (PDF, зображень).
Питання та відповіді
Чим meta robots tag відрізняється від robots.txt?
Meta robots tag керує індексацією конкретної сторінки (index/noindex), а robots.txt — доступом робота до розділів сайту. Щоб noindex спрацював, сторінка має бути відкрита для сканування в robots.txt, інакше робот просто не прочитає тег.
Як закрити сторінку від індексації?
Додати в <head> тег <meta name="robots" content="noindex, follow">. Сторінка залишиться доступною людям, але випаде з пошуку після наступного сканування.
Що означає nofollow у meta robots?
Це вказівка не переходити за посиланнями на сторінці й не передавати їм вагу. Її ставлять рідко й обережно, бо вона стосується одразу всіх посилань на сторінці.
Не впевнені, що в індекс потрапляє те, що треба? Перевіримо директиви й наведемо лад — SEO-аудит та виправлення помилок на сайті.
Схожі терміни: Noindex, robots.txt, Canonical, Індексація, HTML.
