Робот поисковой системы

Робот поисковой системы (поисковый робот, краулер, спайдер, бот) — это программа, которая автоматически обходит страницы в интернете по ссылкам, считывает их содержимое и передаёт его на обработку в индекс поисковика. Именно благодаря роботам Google узнаёт о существовании новых и обновлённых страниц.

Простыми словами: неутомимый библиотекарь, который ходит от страницы к странице по ссылкам и переписывает себе, что где лежит, чтобы потом быстро найти нужное.

Что такое робот поисковой системы и зачем он нужен

Без роботов поиск не существовал бы: сначала страницу нужно найти и «прочитать», и только потом она может попасть в выдачу. Главный робот Google — Googlebot; есть отдельные версии для смартфонов, изображений, новостей. «Робот поисковой системы», «поисковый робот» и «краулер» — это синонимы одного и того же: термины употребляют как взаимозаменяемые.

Как работает робот

Сканирование (crawling) — робот переходит по ссылкам со страницы на страницу.
Обработка — считывает HTML, рендерит страницу, собирает контент и ссылки.
Передача в индекс — подходящие страницы отправляются на индексацию.
Повторные обходы — робот периодически возвращается, чтобы заметить изменения.

Чем управлять поведением робота

robots.txt — какие разделы не сканировать.
meta robots / X-Robots-Tag — индексировать страницу или нет, переходить по ссылкам или нет.
XML-sitemap — подсказка, какие страницы важны.
Краулинговый бюджет — сколько страниц робот готов обойти за визит.

Пример

Вы опубликовали новую статью и поставили на неё внутреннюю ссылку с главной. Во время очередного обхода Googlebot переходит по этой ссылке, считывает статью и добавляет её в очередь на индексацию. Без такого «мостика» робот может добраться до страницы значительно позже.

Часто путают с…

Индексация — это уже следующий этап: сохранение и упорядочивание контента. Робот лишь собирает данные.
Асессор — это человек-оценщик качества выдачи, а не программа-обходчик.

Вопросы и ответы