Краулинговый бюджет

Краулинговый бюджет (crawl budget) — это условный лимит страниц, которые поисковый робот готов обойти на вашем сайте за определённый период. Он определяется двумя факторами: как быстро сайт отдаёт страницы без перегрузки (crawl rate) и насколько Google вообще «хочет» их сканировать (crawl demand).

Простыми словами: у робота ограничены время и ресурс на каждый сайт. Если он потратит их на сотни ненужных страниц — до важных может просто не дойти.

Что такое краулинговый бюджет и кому он важен

Для небольшого сайта на 50–200 страниц бюджет почти никогда не проблема — робот легко обходит всё. Вопрос становится острым для крупных проектов: интернет-магазинов на десятки тысяч URL, маркетплейсов, сайтов с множеством фильтров и параметров. Там робот может «застрять» в бесконечных комбинациях фильтров и не дойти до новых товаров. Google официально подтверждает, что для сайтов примерно до 1 млн страниц о краулинговом бюджете в основном можно не волноваться.

От чего зависит бюджет

• Скорость и стабильность сервера — медленный сайт робот сканирует осторожнее.
• Авторитетность и популярность — более важные сайты обходятся чаще.
• Свежесть контента — часто обновляемые страницы посещаются активнее.
• Чистота структуры — меньше «мусора», больше внимания важным URL.

Как экономить краулинговый бюджет

• Закрывать от сканирования бесконечные фильтры, сортировки и служебные URL.
• Убирать дубли и настраивать canonical.
• Исправлять битые ссылки и цепочки редиректов — робот тратит на них ресурс.
• Держать актуальную XML-карту сайта с нужными страницами.
• Убирать из индекса малоценные страницы (тонкие, пустые, устаревшие).

Пример

Магазин на 20 000 товаров через фильтры генерирует более 500 000 URL-комбинаций. Робот обходит преимущественно эти «мусорные» страницы, а новые товары неделями не попадают в индекс. Закрыли фильтры от сканирования, почистили дубли — и бюджет пошёл туда, где он нужен: на реальные карточки товаров.

Часто путают с…

• Индексация — это попадание страницы в базу; бюджет — про то, сколько страниц робот успеет обойти.
• Лимит индекса — условная «вместимость»; краулинговый бюджет — именно про частоту и объём сканирования.

Вопросы и ответы

Что такое краулинговый бюджет простыми словами?

Это количество страниц, которые робот поисковика успевает обойти на сайте за период. Если бюджет тратится на ненужные URL, важные страницы могут долго не попадать в индекс.

Кому надо волноваться о краулинговом бюджете?

Прежде всего крупным сайтам — от десятков тысяч страниц, магазинам с фильтрами, маркетплейсам. Для небольших сайтов это редко бывает реальной проблемой.

Как проверить, как робот сканирует сайт?

В Google Search Console есть отчёт со статистикой сканирования, а логи сервера показывают, какие именно страницы и как часто посещает робот.

Робот тратит ресурс на мусор? Оптимизируем сканирование и структуру — SEO-аудит и исправление ошибок на сайте.

Похожие термины: Краулер, Индексация, robots.txt, Sitemap, Canonical.