Googlebot — це основний пошуковий робот (краулер) компанії Google, який автоматично обходить сторінки в інтернеті, зчитує їхній вміст і передає його на індексацію. Саме завдяки Googlebot сторінки потрапляють у пошуковий індекс і можуть з’являтися у видачі. Існує у двох основних версіях — для смартфонів і для комп’ютерів.
Простими словами: це невтомний «читач-розвідник» Google. Він ходить по посиланнях від сторінки до сторінки, немов павук по павутині, і приносить у Google все, що знайшов.
Що таке Googlebot і навіщо він потрібен
Без візиту Googlebot сторінки для Google просто не існує: її немає в індексі, отже, немає й у видачі. Робот виявляє нові URL за посиланнями та за картою сайту, регулярно повертається за оновленнями і вирішує, як часто перевіряти той чи інший сайт. Тому базова умова будь-якого SEO — щоб Googlebot міг безперешкодно сканувати потрібні сторінки.
Як працює Googlebot
- Сканування — робот завантажує HTML сторінки й знаходить у ньому нові посилання.
- Рендеринг — виконує JavaScript, щоб побачити сторінку приблизно так, як бачить браузер.
- Індексація — оброблений вміст потрапляє в індекс Google, звідки вже формується видача.
Скільки сторінок і як часто обходити, визначає краулінговий бюджет — тому великим сайтам важливо не «зливати» його на сміттєві URL.
Типи Googlebot і як ним керувати
Основних різновидів два: Googlebot Smartphone (імітує мобільний браузер) і Googlebot Desktop (десктопний). Із переходом на mobile-first indexing головним став саме мобільний робот — Google оцінює насамперед мобільну версію. Є й спеціалізовані боти: Googlebot-Image, Googlebot-Video, Googlebot-News.
Керують доступом робота через файл robots.txt (що можна обходити), метатег robots і заголовок X-Robots-Tag (що можна індексувати). Перевірити, як бачить сторінку сам Googlebot, можна в Google Search Console через інструмент перевірки URL.
Приклад
Ви залили новий розділ, а в пошуку його немає. Часта причина — Googlebot туди не дійшов: на розділ немає внутрішніх посилань або його випадково закрили в robots.txt. Даєте посилання з головних сторінок, додаєте URL у sitemap — і після наступного обходу сторінки з’являються в індексі.
Часто плутають з…
- Краулер — це загальна назва пошукових роботів; Googlebot — конкретний краулер саме Google.
- Індексація — це вже наступний етап; Googlebot сторінки лише сканує й передає далі, а індексує їх система Google.
Питання та відповіді
Googlebot — це один робот чи кілька?
Формально це сімейство. Основні — Googlebot Smartphone і Googlebot Desktop, плюс спеціалізовані для картинок, відео й новин. З 2019 року пріоритет у мобільного.
Як заборонити Googlebot сканувати сторінку?
Закрити її в robots.txt від обходу або поставити метатег noindex, щоб виключити з індексу. Це різні речі: заборона обходу й заборона індексації працюють по-різному.
Як перевірити, що на сайт заходив саме Googlebot?
За user-agent і IP у логах сервера, а також через звіти й інструмент перевірки URL у Google Search Console.
Google погано сканує чи не індексує сайт? Знайдемо причину — SEO-аудит та виправлення технічних помилок.
Схожі терміни: Краулер, Сканування, robots.txt, Індексація.
