X-Robots-Tag — це HTTP-заголовок відповіді сервера, який керує індексацією сторінки чи файлу на рівні сервера. Він передає пошуковим роботам ті самі директиви, що й метатег robots (noindex, nofollow, noarchive), але працює навіть там, де HTML-коду немає — наприклад, для PDF, зображень чи інших файлів.
Простими словами: це та сама команда «не індексуй мене», тільки прошита не в тіло сторінки, а в службову «шапку», яку сервер віддає ще до самого контенту.
Що таке X-Robots-Tag і навіщо він потрібен
Метатег noindex можна поставити лише в <head> HTML-документа. А що робити з PDF-прайсом, зображенням чи файлом, у якому <head> немає взагалі? Саме тут потрібен X-Robots-Tag: він віддає директиву в HTTP-заголовку, тому керує індексацією будь-якого типу файлів, а не тільки HTML-сторінок. Це його ключова перевага перед метатегом robots.
Друга причина використовувати заголовок — масштаб. Одним правилом на сервері можна закрити від індексації цілу групу файлів (усі PDF, усю тестову теку) без правки кожного документа окремо.
Синтаксис і приклад коду
У HTTP-відповіді заголовок виглядає так: X-Robots-Tag: noindex, nofollow. Налаштовують його на рівні сервера:
Apache (.htaccess) — закрити всі PDF:
<FilesMatch ".pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
Nginx:
location ~* .pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}Найпоширеніші директиви: noindex (не показувати у видачі), nofollow (не переходити за посиланнями), noarchive (без кешу), nosnippet (без сніпета), unavailable_after (прибрати після дати).
Приклад
Магазин виклав десятки PDF-прайсів, які почали ранжуватися замість цільових сторінок каталогу. Прописати noindex у самому PDF неможливо. Рішення — одне правило X-Robots-Tag на сервері, що закриває всі файли .pdf від індексації. Через кілька обходів робота вони випадають з видачі, а трафік повертається на потрібні сторінки.
Часто плутають з…
- Meta robots — робить те саме, але лише всередині HTML-сторінки; X-Robots-Tag працює на рівні сервера й для будь-яких файлів.
- robots.txt — забороняє сканування, але не гарантує відсутність у видачі; X-Robots-Tag з noindex прибирає сторінку саме з індексу. Важливо: якщо URL закритий у robots.txt, робот не побачить заголовок noindex.
Питання та відповіді
Чим X-Robots-Tag відрізняється від meta robots?
Директиви ті самі, різниця в місці. Meta robots живе в HTML-коді сторінки, а X-Robots-Tag передається в HTTP-заголовку сервера, тому керує й не-HTML файлами (PDF, зображення) та цілими групами URL.
Як перевірити X-Robots-Tag?
Подивіться HTTP-заголовки відповіді через інструменти розробника в браузері (вкладка Network), curl або перевірку URL у Google Search Console. У заголовках має бути рядок X-Robots-Tag.
Чи можна закрити PDF від індексації через X-Robots-Tag?
Так, і це основний сценарій його використання. Оскільки в PDF немає HTML-тега robots, директиву noindex передають саме через HTTP-заголовок на рівні сервера.
Потрібні сторінки чи файли зникли або, навпаки, зайве в індексі? Розберемося з директивами індексації в межах SEO-аудиту та виправлення помилок на сайті.
Схожі терміни: noindex, Meta robots, robots.txt, Індексація, Canonical.
