Meta Robots Tag (мета-тег robots) — это HTML-тег в секции <head> страницы, который даёт поисковым роботам указания насчёт её индексации и перехода по ссылкам. Две основные пары директив — index/noindex (добавлять страницу в индекс или нет) и follow/nofollow (переходить по ссылкам на ней или нет).
Простыми словами: это записка для робота на конкретной странице — «меня показывай в поиске, а меня пропусти». В отличие от robots.txt, который управляет доступом на уровне всего сайта, этот тег действует точечно.
Что такое Meta Robots Tag и зачем он нужен
Иногда страницу не стоит показывать в поиске: служебные страницы, результаты внутреннего поиска, дубли, «корзина», страницы благодарности. Именно для таких случаев нужен meta robots tag с директивой noindex — она убирает страницу из индекса, не скрывая её от пользователей. Это чистый и надёжный способ управлять тем, что попадает в выдачу, а что нет.
Основные директивы
- index / noindex — индексировать страницу или исключить из поиска.
- follow / nofollow — передавать вес по ссылкам на странице или нет.
- noarchive — не сохранять кешированную копию.
- nosnippet — не показывать текстовый сниппет в выдаче.
- max-snippet, max-image-preview — ограничения на размер сниппета и превью.
Синтаксис и пример кода
<!-- закрыть страницу от индексации, но разрешить переход по ссылкам -->
<meta name="robots" content="noindex, follow">
<!-- индексировать и ходить по ссылкам (значение по умолчанию) -->
<meta name="robots" content="index, follow">
<!-- указание только для Googlebot -->
<meta name="googlebot" content="noindex">Пример
На сайте интернет-магазина страницы фильтров (цвет, размер, цена) плодят тысячи почти одинаковых URL. Чтобы они не засоряли индекс, на них ставят <meta name="robots" content="noindex, follow">: страница исчезает из выдачи, но робот дальше ходит по ссылкам и видит товары. Так краулинговый бюджет тратится на важные страницы.
Часто путают с…
- robots.txt — управляет сканированием на уровне сайта; meta robots tag управляет индексацией отдельной страницы. Если закрыть страницу в robots.txt, робот её не прочитает — и не увидит
noindexв коде. - X-Robots-Tag — те же директивы, но переданные через HTTP-заголовок; удобны для не-HTML файлов (PDF, изображений).
Вопросы и ответы
Чем meta robots tag отличается от robots.txt?
Meta robots tag управляет индексацией конкретной страницы (index/noindex), а robots.txt — доступом робота к разделам сайта. Чтобы noindex сработал, страница должна быть открыта для сканирования в robots.txt, иначе робот просто не прочитает тег.
Как закрыть страницу от индексации?
Добавить в <head> тег <meta name="robots" content="noindex, follow">. Страница останется доступной людям, но выпадет из поиска после следующего сканирования.
Что означает nofollow в meta robots?
Это указание не переходить по ссылкам на странице и не передавать им вес. Его ставят редко и осторожно, потому что оно касается сразу всех ссылок на странице.
Не уверены, что в индекс попадает то, что нужно? Проверим директивы и наведём порядок — SEO-аудит и исправление ошибок на сайте.
Похожие термины: Noindex, robots.txt, Canonical, Индексация, HTML.
Опишіть свій запит
і ми зробимо для Вас
пропозицію
Напишіть мені, щоб бути в ТОП
- Продвижение сайтов в Днепре
- Продвижение сайтов в Чернигове
- Продвижение сайтов в Николаеве
- Продвижение сайтов в Одессе
- Продвижение сайтов в Виннице
- Продвижение сайтов в Полтаве
- Продвижение сайтов в Черкассах
- Продвижение сайтов в Запорожье
- Продвижение сайтов в Ивано-Франковске
- Продвижение сайтов в Харькове
