Сканування (crawling, краулінг) — це процес, під час якого пошуковий робот обходить сторінки сайту, переходячи за посиланнями, і зчитує їхній вміст. Це перший етап роботи пошуковика: спершу він має «побачити» сторінку, і лише потім її можна проіндексувати й показати у видачі.
Простими словами: робот, наче читач із безкінечним списком адрес, ходить від сторінки до сторінки за лінками й переписує собі, що на них знайшов.
Що таке сканування і навіщо воно потрібне
Без сканування сторінки для Google не існує. Спеціальний бот — краулер (у Google це Googlebot) — стартує з відомих URL, завантажує їхній HTML, знаходить у ньому нові посилання й ставить їх у чергу на обхід. Так, крок за кроком, він обходить мережу. Якщо на сторінку не веде жодне посилання і її немає в карті сайту, робот може її взагалі не знайти.
Сканування й індексація — різні речі. Робот може відсканувати сторінку, але не додати її в індекс (наприклад, якщо там тег noindex або дубль). Тобто «обхід» ще не гарантує потрапляння у видачу.
Як працює сканування
- Черга URL. Робот бере адреси з попередніх обходів, sitemap і внутрішніх посилань.
- Завантаження. Бот запитує сторінку, читає HTML, іноді рендерить JavaScript.
- Пошук посилань. Знайдені лінки додаються в чергу на майбутній обхід.
- Обмеження. На кожен сайт виділяється краулінговий бюджет — скільки сторінок робот готовий обійти за період.
Приклад
Ви опублікували нову статтю й поставили на неї посилання з головної та в sitemap. Під час чергового обходу Googlebot бачить лінк, завантажує сторінку, зчитує текст і посилання всередині. Далі сторінка йде на індексацію — і лише тоді має шанс з’явитися у видачі.
Часто плутають з…
- Індексація — це збереження й обробка контенту в базі; сканування — лише обхід і зчитування.
- Ранжування — це вже впорядкування сторінок у видачі; воно відбувається після індексації.
Питання та відповіді
Чим сканування відрізняється від індексації?
Сканування — це обхід і зчитування сторінки роботом. Індексація — збереження й обробка її вмісту в базі пошуковика. Сторінку можуть відсканувати, але не проіндексувати.
Як прискорити сканування нових сторінок?
Додати їх у XML-карту сайту, поставити внутрішні посилання з важливих сторінок і надіслати URL на перевірку в Google Search Console.
Що заважає скануванню?
Блокування в robots.txt, помилки сервера, погана перелінковка й вичерпаний краулінговий бюджет на великих сайтах.
Google погано обходить ваш сайт? Знайдемо причину — SEO-аудит та виправлення технічних помилок.
Схожі терміни: Краулер, Індексація, Краулінговий бюджет, Sitemap.
