X-Robots-Tag — это HTTP-заголовок ответа сервера, который управляет индексацией страницы или файла на уровне сервера. Он передаёт поисковым роботам те же директивы, что и метатег robots (noindex, nofollow, noarchive), но работает даже там, где HTML-кода нет — например, для PDF, изображений или других файлов.
Простыми словами: это та же команда «не индексируй меня», только зашита не в тело страницы, а в служебную «шапку», которую сервер отдаёт ещё до самого контента.
Что такое X-Robots-Tag и зачем он нужен
Метатег noindex можно поставить только в <head> HTML-документа. А что делать с PDF-прайсом, изображением или файлом, в котором <head> нет вообще? Здесь и нужен X-Robots-Tag: он отдаёт директиву в HTTP-заголовке, поэтому управляет индексацией любого типа файлов, а не только HTML-страниц. Это его ключевое преимущество перед метатегом robots.
Вторая причина использовать заголовок — масштаб. Одним правилом на сервере можно закрыть от индексации целую группу файлов (все PDF, всю тестовую папку) без правки каждого документа по отдельности.
Синтаксис и пример кода
В HTTP-ответе заголовок выглядит так: X-Robots-Tag: noindex, nofollow. Настраивают его на уровне сервера:
Apache (.htaccess) — закрыть все PDF:
<FilesMatch ".pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
Nginx:
location ~* .pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}Самые частые директивы: noindex (не показывать в выдаче), nofollow (не переходить по ссылкам), noarchive (без кэша), nosnippet (без сниппета), unavailable_after (убрать после даты).
Пример
Магазин выложил десятки PDF-прайсов, которые начали ранжироваться вместо целевых страниц каталога. Прописать noindex в самом PDF невозможно. Решение — одно правило X-Robots-Tag на сервере, закрывающее все файлы .pdf от индексации. Через несколько обходов робота они выпадают из выдачи, а трафик возвращается на нужные страницы.
Часто путают с…
- Meta robots — делает то же самое, но только внутри HTML-страницы; X-Robots-Tag работает на уровне сервера и для любых файлов.
- robots.txt — запрещает сканирование, но не гарантирует отсутствие в выдаче; X-Robots-Tag с noindex убирает страницу именно из индекса. Важно: если URL закрыт в robots.txt, робот не увидит заголовок noindex.
Вопросы и ответы
Чем X-Robots-Tag отличается от meta robots?
Директивы те же, разница в месте. Meta robots живёт в HTML-коде страницы, а X-Robots-Tag передаётся в HTTP-заголовке сервера, поэтому управляет и не-HTML файлами (PDF, изображения) и целыми группами URL.
Как проверить X-Robots-Tag?
Посмотрите HTTP-заголовки ответа через инструменты разработчика в браузере (вкладка Network), curl или проверку URL в Google Search Console. В заголовках должна быть строка X-Robots-Tag.
Можно ли закрыть PDF от индексации через X-Robots-Tag?
Да, и это основной сценарий его использования. Поскольку в PDF нет HTML-тега robots, директиву noindex передают именно через HTTP-заголовок на уровне сервера.
Нужные страницы или файлы пропали или, наоборот, лишнее в индексе? Разберёмся с директивами индексации в рамках SEO-аудита и исправления ошибок на сайте.
Похожие термины: noindex, Meta robots, robots.txt, Индексация, Canonical.
Опишіть свій запит
і ми зробимо для Вас
пропозицію
Напишіть мені, щоб бути в ТОП
- Продвижение сайтов в Днепре
- Продвижение сайтов в Чернигове
- Продвижение сайтов в Николаеве
- Продвижение сайтов в Одессе
- Продвижение сайтов в Виннице
- Продвижение сайтов в Полтаве
- Продвижение сайтов в Черкассах
- Продвижение сайтов в Запорожье
- Продвижение сайтов в Ивано-Франковске
- Продвижение сайтов в Харькове
