Crawl Error (помилка сканування) — це ситуація, коли пошуковий робот Google намагається обійти сторінку, але не може її завантажити чи коректно обробити. Такі помилки видно у Google Search Console у звіті «Індексування сторінок» — і саме вони найчастіше пояснюють, чому потрібні URL не потрапляють у пошук.
Простими словами: робот постукав у двері вашої сторінки, а вони не відчинилися — або взагалі не знайшлися. Поки двері зачинені, у пошук ця сторінка не потрапить.
Що таке Crawl Error і навіщо про нього знати
Сканування — перший крок на шляху сторінки до топу: спершу робот має її обійти, потім проіндексувати, і лише тоді вона зможе ранжуватися. Якщо на етапі обходу виникає Crawl Error, весь ланцюжок обривається на старті. Тому регулярна перевірка помилок сканування у Google Search Console — базова гігієна будь-якого SEO-аудиту. Один системний Crawl Error може «вимкнути» з пошуку цілий розділ сайту, і власник цього навіть не помітить, поки не впаде трафік.
Типи помилок сканування
Google поділяє їх на дві великі групи — помилки рівня сайту й помилки рівня URL:
- Помилки сервера (5xx) — сервер не відповідає або віддає збій (напр. 500, 503). Робот бачить, що сайт недоступний.
- Не знайдено (404) — сторінки за цим URL більше немає, а посилання на неї лишилися.
- Soft 404 — сторінка віддає код 200 «ОК», але фактично порожня чи є заглушкою.
- Заблоковано в robots.txt — робот хотів зайти, але robots.txt йому заборонив.
- Помилки редиректів — надто довгі ланцюжки або циклічні переадресації.
- Помилки DNS і таймаути — домен не резолвиться або відповідає надто повільно.
Як виправити
- Відкрити у Google Search Console звіт «Індексування сторінок» і згрупувати URL за типом помилки.
- Для 404 — поставити 301-редирект на релевантну сторінку або повернути контент.
- Для 5xx — розібратися з хостингом, навантаженням і логами сервера.
- Для «заблоковано» — перевірити, чи справді ця сторінка має бути закрита.
Приклад
Магазин видалив 300 карток товарів, що закінчилися, але не поставив редиректи. Через тиждень у Google Search Console з’явилося 300 помилок 404, а трафік на категорію просів. Рішення: масовий 301-редирект зі старих URL на актуальні категорії — і помилки поступово зникли з індексу.
Часто плутають з…
- Помилка індексації — сторінку обійшли, але вирішили не додавати в індекс; Crawl Error — сторінку взагалі не вдалося обійти.
- Ручні санкції — це покарання за порушення правил, а не технічний збій обходу.
Питання та відповіді
Що таке Crawl Error простими словами?
Це помилка, яка виникає, коли робот Google не може завантажити чи обробити сторінку під час обходу. Її видно у Google Search Console, і поки помилку не усунути, сторінка зазвичай не потрапляє в пошук.
Чи всі Crawl Error однаково небезпечні?
Ні. Помилки 5xx і масові 404 на важливих сторінках критичні. А от 404 на давно видалених непотрібних URL часто нормальні — Google із часом просто прибере їх зі звіту.
Де подивитися помилки сканування?
У Google Search Console, у звіті «Індексування сторінок» (Page indexing). Там URL згруповані за причинами, чому вони не в індексі.
Багато помилок сканування в Search Console? Знайдемо причину й усунемо в межах SEO-аудиту та виправлення помилок на сайті.
Схожі терміни: robots.txt, 404 Not Found, Редирект, Індексація, Crawler Directives.
