Googlebot

Googlebot — это основной поисковый робот (краулер) компании Google, который автоматически обходит страницы в интернете, считывает их содержимое и передаёт его на индексацию. Именно благодаря Googlebot страницы попадают в поисковый индекс и могут появляться в выдаче. Существует в двух основных версиях — для смартфонов и для компьютеров.

Простыми словами: это неутомимый «читатель-разведчик» Google. Он ходит по ссылкам от страницы к странице, словно паук по паутине, и приносит в Google всё, что нашёл.

Что такое Googlebot и зачем он нужен

Без визита Googlebot страницы для Google просто не существует: её нет в индексе, а значит, нет и в выдаче. Робот обнаруживает новые URL по ссылкам и по карте сайта, регулярно возвращается за обновлениями и решает, как часто проверять тот или иной сайт. Поэтому базовое условие любого SEO — чтобы Googlebot мог беспрепятственно сканировать нужные страницы.

Как работает Googlebot

• Сканирование — робот загружает HTML страницы и находит в нём новые ссылки.
• Рендеринг — выполняет JavaScript, чтобы увидеть страницу примерно так, как её видит браузер.
• Индексация — обработанное содержимое попадает в индекс Google, откуда уже формируется выдача.

Сколько страниц и как часто обходить, определяет краулинговый бюджет — поэтому крупным сайтам важно не «сливать» его на мусорные URL.

Типы Googlebot и как им управлять

Основных разновидностей две: Googlebot Smartphone (имитирует мобильный браузер) и Googlebot Desktop (десктопный). С переходом на mobile-first indexing главным стал именно мобильный робот — Google оценивает прежде всего мобильную версию. Есть и специализированные боты: Googlebot-Image, Googlebot-Video, Googlebot-News.

Управляют доступом робота через файл robots.txt (что можно обходить), метатег robots и заголовок X-Robots-Tag (что можно индексировать). Проверить, как видит страницу сам Googlebot, можно в Google Search Console через инструмент проверки URL.

Пример

Вы залили новый раздел, а в поиске его нет. Частая причина — Googlebot туда не дошёл: на раздел нет внутренних ссылок или его случайно закрыли в robots.txt. Даёте ссылки с главных страниц, добавляете URL в sitemap — и после следующего обхода страницы появляются в индексе.

Часто путают с…

• Краулер — это общее название поисковых роботов; Googlebot — конкретный краулер именно Google.
• Индексация — это уже следующий этап; Googlebot страницы только сканирует и передаёт дальше, а индексирует их система Google.

Вопросы и ответы

Googlebot — это один робот или несколько?

Формально это семейство. Основные — Googlebot Smartphone и Googlebot Desktop, плюс специализированные для картинок, видео и новостей. С 2019 года приоритет у мобильного.

Как запретить Googlebot сканировать страницу?

Закрыть её в robots.txt от обхода или поставить метатег noindex, чтобы исключить из индекса. Это разные вещи: запрет обхода и запрет индексации работают по-разному.

Как проверить, что на сайт заходил именно Googlebot?

По user-agent и IP в логах сервера, а также через отчёты и инструмент проверки URL в Google Search Console.

Google плохо сканирует или не индексирует сайт? Найдём причину — SEO-аудит и исправление технических ошибок.

Похожие термины: Краулер, Сканирование, robots.txt, Индексация.