Поисковый робот

Поисковый робот — это программа поисковой системы, которая автоматически обходит страницы сайтов по ссылкам, загружает их содержимое и передаёт его на индексацию. У Google это Googlebot. Робот — первое звено в цепочке «нашли → проанализировали → показали в выдаче».

Простыми словами: неутомимый читатель, который день и ночь ходит по интернету по ссылкам, «переписывает» содержимое страниц и несёт его в хранилище поисковика.

Что такое поисковый робот и зачем о нём знать

Без визита робота страница не попадёт ни в индекс, ни в выдачу — поэтому управление его работой это база технического SEO. Робот не обладает бесконечными ресурсами: на каждый сайт он выделяет ограниченный краулинговый бюджет. Если он тратит его на дубли, мусорные или технические URL, до важных страниц может просто не дойти. Поэтому задача оптимизатора — направить робота туда, где ценный контент.

Синонимия: робот = краулер = паук

Это слова об одном и том же. «Поисковый робот», «краулер» (crawler), «паук» (spider) и «бот поисковой системы» — синонимы. У Google конкретный робот называется Googlebot, у Bing — Bingbot. Технически все они делают одинаковую работу: обходят и загружают страницы.

Как управлять поисковым роботом

robots.txt — указывает, какие разделы не обходить.
Sitemap.xml — подсказывает, какие страницы важны и где они.
Внутренняя перелинковка — ведёт робота к нужным страницам.
Тег noindex — запрещает добавлять страницу в индекс.

Пример

На крупном интернет-магазине робот «зависал» на тысячах страниц фильтров и сортировок, почти не доходя до новых товаров. Закрыли эти параметры в robots.txt — и бюджет обхода пошёл на карточки товара. За несколько недель индексация важных страниц заметно ускорилась.

Часто путают с…

Индексация — это следующий этап (сохранение в базе); робот лишь собирает данные для него.
Вредоносные боты — парсеры и скраперы тоже «роботы», но они не поисковые и часто нежелательны.

Вопросы и ответы