Crawl Error

Crawl Error (ошибка сканирования) — это ситуация, когда поисковый робот Google пытается обойти страницу, но не может её загрузить или корректно обработать. Такие ошибки видны в Google Search Console в отчёте «Индексирование страниц» — и именно они чаще всего объясняют, почему нужные URL не попадают в поиск.

Простыми словами: робот постучал в дверь вашей страницы, а она не открылась — или вообще не нашлась. Пока дверь закрыта, в поиск эта страница не попадёт.

Что такое Crawl Error и зачем о нём знать

Сканирование — первый шаг на пути страницы в топ: сначала робот должен её обойти, потом проиндексировать, и только тогда она сможет ранжироваться. Если на этапе обхода возникает Crawl Error, вся цепочка обрывается на старте. Поэтому регулярная проверка ошибок сканирования в Google Search Console — базовая гигиена любого SEO-аудита. Одна системная Crawl Error способна «выключить» из поиска целый раздел сайта, и владелец этого даже не заметит, пока не упадёт трафик.

Типы ошибок сканирования

Google делит их на две большие группы — ошибки уровня сайта и ошибки уровня URL:

Ошибки сервера (5xx) — сервер не отвечает или отдаёт сбой (напр. 500, 503). Робот видит, что сайт недоступен.
Не найдено (404) — страницы по этому URL больше нет, а ссылки на неё остались.
Soft 404 — страница отдаёт код 200 «ОК», но фактически пустая или является заглушкой.
Заблокировано в robots.txt — робот хотел зайти, но robots.txt ему запретил.
Ошибки редиректов — слишком длинные цепочки или циклические переадресации.
Ошибки DNS и таймауты — домен не резолвится или отвечает слишком медленно.

Как исправить

Открыть в Google Search Console отчёт «Индексирование страниц» и сгруппировать URL по типу ошибки.
Для 404 — поставить 301-редирект на релевантную страницу или вернуть контент.
Для 5xx — разобраться с хостингом, нагрузкой и логами сервера.
Для «заблокировано» — проверить, действительно ли эта страница должна быть закрыта.

Пример

Магазин удалил 300 карточек закончившихся товаров, но не поставил редиректы. Через неделю в Google Search Console появилось 300 ошибок 404, а трафик на категорию просел. Решение: массовый 301-редирект со старых URL на актуальные категории — и ошибки постепенно исчезли из индекса.

Часто путают с…

Ошибка индексации — страницу обошли, но решили не добавлять в индекс; Crawl Error — страницу вообще не удалось обойти.
Ручные санкции — это наказание за нарушение правил, а не технический сбой обхода.

Вопросы и ответы

Что такое Crawl Error простыми словами?

Это ошибка, которая возникает, когда робот Google не может загрузить или обработать страницу во время обхода. Её видно в Google Search Console, и пока ошибку не устранить, страница обычно не попадает в поиск.

Все ли Crawl Error одинаково опасны?

Нет. Ошибки 5xx и массовые 404 на важных страницах критичны. А вот 404 на давно удалённых ненужных URL часто нормальны — Google со временем просто уберёт их из отчёта.

Где посмотреть ошибки сканирования?

В Google Search Console, в отчёте «Индексирование страниц» (Page indexing). Там URL сгруппированы по причинам, почему они не в индексе.

Много ошибок сканирования в Search Console? Найдём причину и устраним в рамках SEO-аудита и исправления ошибок на сайте.

Похожие термины: robots.txt, 404 Not Found, Редирект, Индексация, Crawler Directives.