Бот (від «робот») — це програма, що автоматично виконує дії в інтернеті без участі людини: обходить сайти, збирає дані, індексує сторінки або імітує поведінку користувача. Боти бувають корисними (пошукові) і шкідливими (спам, парсинг, атаки).
Простими словами: це автоматичний «працівник» без людини за кермом. Одні боти корисні — як Googlebot, що заносить сайт у пошук. Інші приходять зі злими намірами — красти контент чи шукати діри в захисті.
Що таке бот і навіщо його розуміти
Значну частину всього інтернет-трафіку генерують саме боти, а не люди — за різними оцінками, приблизно половину. Для власника сайту важливо розрізняти «хороших» і «поганих»: перших треба пускати й допомагати їм, других — обмежувати. Від цього залежить і індексація, і безпека, і коректність аналітики.
Які бувають боти
- Пошукові (краулери) — Googlebot, YandexBot: обходять і індексують сторінки.
- Моніторингові — перевіряють доступність сайту, ціни, позиції.
- Парсери (скрапери) — збирають (іноді крадуть) контент і дані.
- Спам-боти — розсилають спам у форми й коментарі.
- Шкідливі — шукають уразливості, накручують, влаштовують атаки.
Як керувати ботами
- robots.txt — вказує краулерам, що можна обходити, а що ні.
- CAPTCHA й ліміти — відсіюють спам-ботів у формах.
- Фаєрвол / WAF — блокує шкідливі боти й підозрілі запити.
- Фільтрація в аналітиці — щоб боти не спотворювали статистику.
Приклад
Googlebot заходить на сайт, читає robots.txt, обходить дозволені сторінки й передає їх в індекс — це «хороший» бот, якому ми раді. А спам-бот у той самий час намагається закинути 200 рекламних коментарів у блог — його ми відсікаємо капчею. Обидва — боти, але ставлення до них протилежне.
Часто плутають з…
- Краулер — це підвид бота, що спеціалізується на обході й індексації сторінок.
- Чат-бот — програма для діалогу з користувачем, а не для обходу сайтів.
- Googlebot — конкретний пошуковий бот Google, а не боти взагалі.
Питання та відповіді
Усі боти шкідливі?
Ні. Пошукові боти на кшталт Googlebot необхідні — без них сайт не потрапить у пошук. Шкідливі — це спам-боти, агресивні парсери й ті, що шукають уразливості.
Як заборонити боту доступ до сайту?
«Ввічливим» ботам — через robots.txt (вони його поважають). Шкідливим, що ігнорують правила, — блокуванням на рівні сервера, фаєрвола (WAF) або капчею.
Чи спотворюють боти аналітику?
Так, ботовий трафік може завищувати відвідування й псувати поведінкові метрики. Тому в системах аналітики його бажано фільтрувати.
Підозрілий бот-трафік або проблеми з індексацією? Розберемося в межах SEO-аудиту та технічного налаштування сайту.
Схожі терміни: Краулер, Googlebot, Індексація, robots.txt.
