Пошуковий робот — це програма пошукової системи, яка автоматично обходить сторінки сайтів за посиланнями, завантажує їхній вміст і передає його на індексацію. У Google це Googlebot. Робот — перша ланка в ланцюжку «знайшли → проаналізували → показали у видачі».
Простими словами: невтомний читач, який день і ніч ходить по інтернету за посиланнями, «переписує» вміст сторінок і несе його у сховище пошуковика.
Що таке пошуковий робот і навіщо про нього знати
Без візиту робота сторінка не потрапить ні в індекс, ні у видачу — тому керування його роботою це база технічного SEO. Робот не має нескінченних ресурсів: на кожен сайт він виділяє обмежений краулінговий бюджет. Якщо він витрачає його на дублі, сміттєві чи технічні URL, до важливих сторінок може просто не дійти. Тому завдання оптимізатора — спрямувати робота туди, де цінний контент.
Синонімія: робот = краулер = павук
Це слова про одне й те саме. «Пошуковий робот», «краулер» (crawler), «павук» (spider) і «бот пошукової системи» — синоніми. У Google конкретний робот називається Googlebot, у Bing — Bingbot. Технічно всі вони роблять однакову роботу: обходять і завантажують сторінки.
Як керувати пошуковим роботом
- robots.txt — вказує, які розділи не обходити.
- Sitemap.xml — підказує, які сторінки важливі й де вони.
- Внутрішня перелінковка — веде робота до потрібних сторінок.
- Тег
noindex— забороняє додавати сторінку в індекс.
Приклад
На великому інтернет-магазині робот «зависав» на тисячах сторінок фільтрів і сортувань, майже не доходячи до нових товарів. Закрили ці параметри в robots.txt — і бюджет обходу пішов на картки товару. За кілька тижнів індексація важливих сторінок помітно пришвидшилася.
Часто плутають з…
- Індексація — це наступний етап (збереження в базі); робот лише збирає дані для нього.
- Шкідливі боти — парсери й скрапери теж «роботи», але вони не пошукові й часто небажані.
Питання та відповіді
Пошуковий робот і краулер — це одне й те саме?
Так. «Пошуковий робот», «краулер», «павук» і «бот пошукової системи» — синоніми. У Google цей робот називається Googlebot.
Як заборонити роботу обхід сторінки?
Через robots.txt (заборона обходу) або тег noindex (заборона індексації). Це різні механізми з різним ефектом.
Що таке краулінговий бюджет?
Це умовний ліміт сторінок, які робот готовий обійти на сайті за певний час. Його важливо витрачати на цінні сторінки, а не на сміттєві URL.
Робот не доходить до важливих сторінок? Налаштуємо обхід та індексацію в межах SEO-аудиту та виправлення помилок на сайті.
Схожі терміни: Краулер, Індексація, Пошуковий індекс, Пошукова система, Sitemap.
