Краулінговий бюджет (crawl budget) — це умовний ліміт сторінок, які пошуковий робот готовий обійти на вашому сайті за певний період. Він визначається двома чинниками: як швидко сайт віддає сторінки без перевантаження (crawl rate) і наскільки Google взагалі «хоче» їх сканувати (crawl demand).
Простими словами: у робота обмежений час і ресурс на кожен сайт. Якщо він витратить його на сотні непотрібних сторінок — на важливі може просто не дійти.
Що таке краулінговий бюджет і кому він важливий
Для невеликого сайту на 50–200 сторінок бюджет майже ніколи не проблема — робот легко обходить усе. Питання стає гострим для великих проєктів: інтернет-магазинів на десятки тисяч URL, маркетплейсів, сайтів із безліччю фільтрів і параметрів. Там робот може «застрягти» в нескінченних комбінаціях фільтрів і не дійти до нових товарів. Google офіційно підтверджує, що для сайтів приблизно до 1 млн сторінок про краулінговий бюджет здебільшого можна не хвилюватися.
Від чого залежить бюджет
- Швидкість і стабільність сервера — повільний сайт робот сканує обережніше.
- Авторитетність і популярність — важливіші сайти обходяться частіше.
- Свіжість контенту — часто оновлювані сторінки відвідуються активніше.
- Чистота структури — менше «сміття», більше уваги важливим URL.
Як економити краулінговий бюджет
- Закривати від сканування нескінченні фільтри, сортування й службові URL.
- Прибирати дублі та налаштовувати canonical.
- Виправляти биті посилання й ланцюжки редиректів — робот марнує на них ресурс.
- Тримати актуальну XML-карту сайту з потрібними сторінками.
- Прибирати з індексу малоцінні сторінки (тонкі, порожні, застарілі).
Приклад
Магазин на 20 000 товарів через фільтри генерує понад 500 000 URL-комбінацій. Робот обходить переважно ці «сміттєві» сторінки, а нові товари тижнями не потрапляють в індекс. Закрили фільтри від сканування, почистили дублі — і бюджет пішов туди, де він потрібен: на реальні картки товарів.
Часто плутають з…
- Індексація — це потрапляння сторінки в базу; бюджет — про те, скільки сторінок робот встигне обійти.
- Ліміт індексу — умовна «місткість»; краулінговий бюджет — саме про частоту й обсяг сканування.
Питання та відповіді
Що таке краулінговий бюджет простими словами?
Це кількість сторінок, які робот пошуковика встигає обійти на сайті за період. Якщо бюджет витрачається на непотрібні URL, важливі сторінки можуть довго не потрапляти в індекс.
Кому треба хвилюватися про краулінговий бюджет?
Насамперед великим сайтам — від десятків тисяч сторінок, магазинам із фільтрами, маркетплейсам. Для невеликих сайтів це рідко буває реальною проблемою.
Як перевірити, як робот сканує сайт?
У Google Search Console є звіт зі статистикою сканування, а логи сервера показують, які саме сторінки й як часто відвідує робот.
Робот витрачає ресурс на сміття? Оптимізуємо сканування й структуру — SEO-аудит та виправлення помилок на сайті.
Схожі терміни: Краулер, Індексація, robots.txt, Sitemap, Canonical.
