Краулер

Краулер (crawler, паук, spider) — это поисковый робот, который автоматически обходит страницы сайтов по ссылкам, считывает их содержимое и передаёт данные в индекс поисковой системы. Самый известный пример — Googlebot. Именно с работы краулера начинается путь любой страницы в поиск.

Простыми словами: это неутомимый разведчик поисковика. Он ходит по ссылкам, как по тропинкам, заглядывает на каждую страницу и записывает, что там есть, — чтобы потом её можно было показать в выдаче.

Что такое краулер и зачем он нужен

Поисковик не «видит» ваш сайт, пока на него не зашёл краулер. Робот обнаруживает новые и изменённые страницы, читает их HTML и отправляет на обработку. Без этого шага страница просто не попадёт в индекс, а значит, её не найдут в поиске. Поэтому базовое условие SEO — чтобы важные страницы были доступны для сканирования и не закрыты случайно в robots.txt или тегом noindex.

Как работает краулер

• Очередь URL. Робот берёт адреса из списка известных страниц и карты сайта.
• Обход по ссылкам. Заходит на страницу, считывает контент и собирает новые ссылки — так находит следующие URL.
• Передача в индексацию. Собранное содержимое идёт на обработку и попадает в индекс.
• Повторные визиты. Робот возвращается, чтобы увидеть обновления; частота зависит от авторитетности и свежести сайта.

Пример

Вы опубликовали новую статью и поставили на неё ссылку с главной и в sitemap. Во время очередного обхода Googlebot переходит по этой ссылке, считывает текст и добавляет страницу в индекс — после этого она может появиться в выдаче. Если же на статью не ведёт ни одной ссылки и её нет в карте сайта, робот может долго её не замечать.

Часто путают с…

• Индексация — это уже хранение и обработка страницы в базе; краулер лишь собирает данные. Сканирование ≠ индексация.
• Асессор — это человек, вручную оценивающий качество выдачи; краулер — автоматическая программа.
• Парсер — разбирает структуру контента; краулер сначала должен этот контент найти и загрузить.

Вопросы и ответы

Что такое краулер простыми словами?

Это робот поисковика, который ходит по сайтам по ссылкам и считывает страницы, чтобы потом их можно было показать в поиске. В Google его зовут Googlebot.

Чем краулинг отличается от индексации?

Краулинг — это когда робот находит и считывает страницу. Индексация — когда поисковик сохраняет и обрабатывает её содержимое в своей базе. Сначала сканирование, потом индексация.

Как помочь краулеру обойти сайт?

Сделать чёткую структуру и внутренние ссылки, держать актуальную XML-карту сайта, не закрывать нужные страницы в robots.txt и убрать битые ссылки.

Страницы не попадают в индекс? Найдём, что мешает роботу — SEO-аудит и исправление ошибок на сайте.

Похожие термины: Индексация, robots.txt, Sitemap, Краулинговый бюджет, Поисковая система.