User Agent

User Agent (юзер-агент) — это строка, которую программа-клиент (браузер, приложение или поисковый робот) отправляет серверу при запросе, чтобы сообщить, кто именно обращается: тип и версия браузера, операционная система, а для ботов — название краулера. По User Agent сервер различает, например, Googlebot, мобильный Chrome или десктопный Firefox.

Простыми словами: это «представление на входе». Каждый, кто стучится к серверу, первым делом говорит: «Я — Chrome на Android» или «Я — робот Google». А сервер уже решает, что ему показать.

Что такое User Agent и зачем он нужен

Юзер-агент позволяет серверу и аналитике понимать, с какого устройства и программы пришёл запрос. Благодаря этому сайт может отдать адаптивную версию под мобильный, а системы статистики — посчитать долю пользователей разных браузеров. Для SEO ключевая роль другая: по User Agent сайт распознаёт поисковых роботов. Именно так отличают Googlebot от обычного посетителя.

Google с 2019 года преимущественно сканирует сайты как мобильный Googlebot (mobile-first). Его User Agent содержит название «Googlebot» и упоминание смартфона — и именно мобильную версию робот видит первой. Поэтому важно, чтобы серверные правила ненамеренно не блокировали и не «обманывали» эту строку.

Пример User Agent и директивы в robots.txt

Обычный браузер:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36

Поисковый робот Google:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

В robots.txt правила адресуют именно конкретному User Agent:
User-agent: Googlebot
Disallow: /admin/

Пример

Сайт случайно настроили так, что посетителям отдаётся полная страница, а роботу с User Agent «Googlebot» — урезанная версия без части контента. Google это считает клоакингом и может наложить санкции. Поэтому робот должен видеть то же, что и человек — проверять это стоит именно по User Agent.

Часто путают с…

• Googlebot — это сам робот Google; User Agent — лишь строка, которой он себя называет при запросе.
• IP-адрес — это «откуда» пришёл запрос; User Agent — «кто» обращается. Подделать строку легко, поэтому Googlebot дополнительно проверяют по IP.

Вопросы и ответы

Зачем User Agent нужен в SEO?

По нему сайт и аналитика распознают поисковых роботов и тип устройства. Это основа для mobile-first сканирования, корректной отдачи контента и выявления проблем с доступом Googlebot.

Как проверить, что это настоящий Googlebot?

Строку User Agent можно подделать, поэтому самому названию доверять нельзя. Google советует делать обратный DNS-запрос по IP: настоящий Googlebot резолвится в домены googlebot.com или google.com.

Можно ли показывать роботу и человеку разный контент по User Agent?

Нет. Намеренно отдавать роботу другой контент, чем пользователю — это клоакинг, нарушение правил Google. Робот должен видеть ту же страницу, что и человек.

Google видит сайт не так, как посетитель? Найдём причину — SEO-аудит и исправление технических ошибок.

Похожие термины: Googlebot, Краулер, robots.txt, Индексация, Клоакинг.