Log File (лог-файл сервера) — це файл, у який сервер автоматично записує кожен запит до сайту: хто звернувся (користувач чи робот), коли, до якої URL, яким методом і з яким кодом відповіді. Для SEO лог-файли безцінні тим, що показують реальну поведінку пошукових роботів, а не припущення. Розбір цих даних називають аналізом лог-файлів (Log File Analysis).
Простими словами: це чорна скринька сайту. Хочеш дізнатися, куди насправді ходить Googlebot і що ігнорує, — не гадай, а зазирни в лог.
Що таке Log File і навіщо він у SEO
Кожен рядок лога — це один запит із набором полів: IP, дата й час, URL, HTTP-метод, код відповіді сервера (200, 301, 404, 500), user-agent. Коли таких рядків мільйони, у них ховається точна картина: які сторінки робот відвідує часто, які — рідко, а до яких не доходить зовсім. Жоден інший інструмент не дає настільки чесних даних про сканування.
Для SEO це прямий вихід на краулінговий бюджет. Якщо краулер витрачає ресурс на сміттєві URL, фільтри чи редиректи, важливі сторінки скануються рідше — і повільніше оновлюються в індексі. Аналіз лог-файлів показує ці витоки бюджету чорним по білому.
Що показує аналіз лог-файлів
- Частоту сканування кожної URL і розділу сайту.
- Куди «зливається» краулінговий бюджет — параметри, дублі, нескінченні фільтри.
- Помилки очима робота — сплески кодів 404 і 5xx.
- Чи бачить робот важливі сторінки й як швидко доходить до нових.
- Різницю між реальним Googlebot і фейковими ботами за user-agent та IP.
Приклад
У лог-файлі видно, що Googlebot 60% візитів витрачає на URL із параметрами сортування, а картки товарів відвідує раз на два тижні. Висновок однозначний: краулінговий бюджет тече в нікуди. Закриваємо параметричні сторінки від сканування — і робот починає частіше заходити на товари, що прискорює їхнє оновлення в пошуку.
Часто плутають з…
- Google Search Console — дає зведену статистику сканування, але не «сирі» рядки; Log File показує кожен окремий запит без згладжування.
- Google Analytics — фіксує поведінку людей із JavaScript, а лог-файл ловить усіх, зокрема роботів, які в аналітику не потрапляють.
Питання та відповіді
Що таке аналіз лог-файлів простими словами?
Це вивчення серверних логів, щоб побачити, як пошукові роботи насправді сканують сайт: куди ходять часто, що ігнорують і де марнують краулінговий бюджет.
Навіщо SEO-фахівцю лог-файли?
Щоб керувати скануванням на фактах, а не здогадках: знайти витоки краулінгового бюджету, помилки 404/5xx і сторінки, до яких робот не доходить.
Де взяти лог-файли?
На сервері або хостингу (access logs), іноді через панель керування чи CDN. Далі їх обробляють у спеціальних інструментах на кшталт Screaming Frog Log Analyser.
Хочете знати, що насправді робить робот на вашому сайті? Проаналізуємо логи в межах SEO-аудиту і наведемо лад зі скануванням.
Схожі терміни: Краулінговий бюджет, Краулер, Індексація, Robots.txt, Код відповіді сервера.
