Crawl Frequency

Crawl Frequency (частота сканирования) — это то, насколько часто поисковый робот Google возвращается на ваш сайт, чтобы обойти страницы и заметить изменения. Чем выше частота, тем быстрее новые и обновлённые страницы попадают в индекс и поиск. Зависит она от авторитетности сайта, частоты обновлений и технического состояния ресурса.

Простыми словами: это график визитов робота. Активный, авторитетный сайт он посещает ежедневно или даже ежечасно, а забытый сайт-визитку — раз в несколько недель.

Что такое Crawl Frequency и зачем она нужна

Google не обходит весь интернет одновременно — у него ограниченные ресурсы, поэтому каждому сайту выделяется своя «квота внимания». Crawl Frequency определяет, как быстро поисковик увидит, что вы опубликовали статью, изменили цену или исправили ошибку. Для новостного портала высокая частота критична — устаревшая выдача там бесполезна. Для небольшого сайта, который редко обновляется, сверхчастый обход не нужен, и Google это учитывает.

Термин Crawl Rate («скорость сканирования») — близкий синоним: он описывает количество запросов робота к сайту за единицу времени. На практике «частоту» и «скорость» сканирования часто употребляют как одно понятие — как интенсивность обхода вашего ресурса.

От чего зависит частота сканирования

• Авторитетность и популярность — сайты с качественным ссылочным профилем робот посещает чаще.
• Свежесть контента — если страницы регулярно обновляются, Google приходит чаще.
• Скорость и стабильность сервера — медленный сайт робот нагружает осторожнее, снижая темп.
• Структура и перелинковка — понятная архитектура помогает роботу эффективнее распределять обходы.

Как связана с краулинговым бюджетом

Частота сканирования — одна из составляющих понятия краулинговый бюджет: сколько страниц и как часто Google готов обходить на конкретном сайте. Если бюджет «съедают» ненужные URL (бесконечные фильтры, дубли, редиректы), на важные страницы частоты может не хватать. Поэтому оптимизация сводится к одному: направить внимание робота на ценное и закрыть от него мусор.

Пример

Интернет-магазин публикует 20 новых товаров в день. На старте Google заходил раз в несколько дней, и новинки долго не появлялись в поиске. После чистки дублей, настройки sitemap и ускорения сервера частота обхода выросла — новые карточки начали индексироваться за часы, а не за дни.

Часто путают с…

• Скорость индексации — это как быстро страница попадает в индекс после обхода; частота сканирования — как часто робот вообще приходит.
• Краулинговый бюджет — более широкое понятие об общем лимите обхода; частота — его «темповая» составляющая.

Вопросы и ответы

Что такое Crawl Frequency простыми словами?

Это частота, с которой робот Google возвращается на ваш сайт, чтобы обойти страницы. Чем она выше, тем быстрее новые и обновлённые страницы попадают в поиск.

Чем Crawl Frequency отличается от Crawl Rate?

Это фактически близкие синонимы. Crawl Rate — скорость/интенсивность запросов робота к сайту, Crawl Frequency — как часто он возвращается. На практике оба описывают одно: насколько активно Google обходит ваш ресурс.

Как ускорить обход сайта?

Регулярно обновлять полезный контент, держать быстрый и стабильный сервер, чистить дубли и лишние URL, поддерживать актуальный sitemap и наращивать авторитетность ссылками.

Google медленно видит ваши обновления? Разберёмся с обходом и индексацией в рамках SEO-аудита и технических доработок.

Похожие термины: Краулинговый бюджет, Индексация, robots.txt, Sitemap, Crawl Error.