Log File

Log File (лог-файл сервера) — это файл, в который сервер автоматически записывает каждый запрос к сайту: кто обратился (пользователь или робот), когда, к какому URL, каким методом и с каким кодом ответа. Для SEO лог-файлы бесценны тем, что показывают реальное поведение поисковых роботов, а не предположения. Разбор этих данных называют анализом лог-файлов (Log File Analysis).

Простыми словами: это чёрный ящик сайта. Хочешь узнать, куда на самом деле ходит Googlebot и что игнорирует, — не гадай, а загляни в лог.

Что такое Log File и зачем он в SEO

Каждая строка лога — это один запрос с набором полей: IP, дата и время, URL, HTTP-метод, код ответа сервера (200, 301, 404, 500), user-agent. Когда таких строк миллионы, в них прячется точная картина: какие страницы робот посещает часто, какие — редко, а до каких не доходит вовсе. Ни один другой инструмент не даёт настолько честных данных о сканировании.

Для SEO это прямой выход на краулинговый бюджет. Если краулер тратит ресурс на мусорные URL, фильтры или редиректы, важные страницы сканируются реже — и медленнее обновляются в индексе. Анализ лог-файлов показывает эти утечки бюджета чёрным по белому.

Что показывает анализ лог-файлов

• Частоту сканирования каждого URL и раздела сайта.
• Куда «сливается» краулинговый бюджет — параметры, дубли, бесконечные фильтры.
• Ошибки глазами робота — всплески кодов 404 и 5xx.
• Видит ли робот важные страницы и как быстро доходит до новых.
• Разницу между реальным Googlebot и фейковыми ботами по user-agent и IP.

Пример

В лог-файле видно, что Googlebot 60% визитов тратит на URL с параметрами сортировки, а карточки товаров посещает раз в две недели. Вывод однозначный: краулинговый бюджет утекает в никуда. Закрываем параметрические страницы от сканирования — и робот начинает чаще заходить на товары, что ускоряет их обновление в поиске.

Часто путают с…

• Google Search Console — даёт сводную статистику сканирования, но не «сырые» строки; Log File показывает каждый отдельный запрос без сглаживания.
• Google Analytics — фиксирует поведение людей с JavaScript, а лог-файл ловит всех, в том числе роботов, которые в аналитику не попадают.

Вопросы и ответы

Что такое анализ лог-файлов простыми словами?

Это изучение серверных логов, чтобы увидеть, как поисковые роботы на самом деле сканируют сайт: куда ходят часто, что игнорируют и где расходуют краулинговый бюджет.

Зачем SEO-специалисту лог-файлы?

Чтобы управлять сканированием на фактах, а не догадках: найти утечки краулингового бюджета, ошибки 404/5xx и страницы, до которых робот не доходит.

Где взять лог-файлы?

На сервере или хостинге (access logs), иногда через панель управления или CDN. Дальше их обрабатывают в специальных инструментах вроде Screaming Frog Log Analyser.

Хотите знать, что на самом деле делает робот на вашем сайте? Проанализируем логи в рамках SEO-аудита и наведём порядок со сканированием.

Похожие термины: Краулинговый бюджет, Краулер, Индексация, Robots.txt, Код ответа сервера.