User Agent (юзер-агент) — це рядок, який програма-клієнт (браузер, застосунок або пошуковий робот) надсилає серверу під час запиту, щоб повідомити, хто саме звертається: тип і версія браузера, операційна система, а для ботів — назва краулера. За User Agent сервер розрізняє, наприклад, Googlebot, мобільний Chrome чи десктопний Firefox.
Простими словами: це «представлення на вході». Кожен, хто стукає до сервера, першим ділом каже: «Я — Chrome на Android» або «Я — робот Google». А сервер уже вирішує, що йому показати.
Що таке User Agent і навіщо він потрібен
Юзер-агент дозволяє серверу й аналітиці розуміти, з якого пристрою й програми прийшов запит. Завдяки цьому сайт може віддати адаптивну версію під мобільний, а системи статистики — порахувати частку користувачів різних браузерів. Для SEO ключова роль інша: за User Agent сайт розпізнає пошукових роботів. Саме так відрізняють Googlebot від звичайного відвідувача.
Google з 2019 року переважно сканує сайти як мобільний Googlebot (mobile-first). Його User Agent містить назву «Googlebot» і згадку смартфона — і саме мобільну версію робот бачить першою. Тому важливо, щоб серверні правила ненавмисно не блокували й не «обманювали» цей рядок.
Приклад User Agent та директиви в robots.txt
Звичайний браузер:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36
Пошуковий робот Google:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
У robots.txt правила адресують саме конкретному User Agent:
User-agent: Googlebot
Disallow: /admin/
Приклад
Сайт випадково налаштували так, що відвідувачам віддається повна сторінка, а роботу з User Agent «Googlebot» — урізана версія без частини контенту. Google це вважає клоакінгом і може накласти санкції. Тому робот має бачити те саме, що й людина — перевіряти це варто саме за User Agent.
Часто плутають з…
- Googlebot — це сам робот Google; User Agent — лише рядок, яким він себе називає під час запиту.
- IP-адреса — це «звідки» прийшов запит; User Agent — «хто» звертається. Підробити рядок легко, тому Googlebot додатково перевіряють за IP.
Питання та відповіді
Навіщо User Agent потрібен у SEO?
За ним сайт і аналітика розпізнають пошукових роботів і тип пристрою. Це основа для mobile-first сканування, коректної віддачі контенту й виявлення проблем із доступом Googlebot.
Як перевірити, що це справжній Googlebot?
Рядок User Agent можна підробити, тож самій назві довіряти не можна. Google радить робити зворотний DNS-запит за IP: справжній Googlebot резолвиться в домени googlebot.com або google.com.
Чи можна показувати роботу й людині різний контент за User Agent?
Ні. Навмисне віддавати роботу інший контент, ніж користувачу — це клоакінг, порушення правил Google. Робот має бачити ту саму сторінку, що й людина.
Google бачить сайт не так, як відвідувач? Знайдемо причину — SEO-аудит та виправлення технічних помилок.
Схожі терміни: Googlebot, Краулер, robots.txt, Індексація, Клоакінг.
