Логи сервера: что они показывают и зачем владельцу сайта

Про логи сервера обычно вспоминают в двух случаях: когда сайт упал и когда что-то странное произошло с трафиком. В остальное время эти файлы просто копятся на диске и никого не интересуют. А между тем в них записано всё, что происходило с вашим сайтом, — с точностью до секунды и без искажений, которые вносят счётчики.

Разберём, что такое логи, что в них можно увидеть без специальных знаний, какие вопросы они помогают решить и как ими пользоваться владельцу сайта, а не только программисту.

Что такое логи и чем они отличаются от Яндекс.Метрики

Лог — это текстовый файл, куда сервер записывает каждое обращение к сайту. Одна строка — одно обращение: кто пришёл, когда, какую страницу или файл запросил, что сервер ответил, откуда пришёл, каким браузером пользовался.

Ключевое отличие от систем аналитики в том, что счётчик видит только тех, у кого выполнился скрипт в браузере. Логи видят всех.

Что не попадает в Метрику, но попадает в логи:

• поисковые роботы и любые другие автоматические программы
• посетители с блокировщиками рекламы и скриптов
• обращения к файлам: картинкам, документам, прайсам
• запросы, которые завершились ошибкой ещё до загрузки страницы
• попытки взлома и подбора паролей
• обращения к несуществующим адресам
• нагрузка от парсеров и агрегаторов.

Из-за этого в логах цифры всегда больше, чем в счётчике, и это нормально. Логи и аналитика отвечают на разные вопросы: аналитика — про людей и их поведение, логи — про то, что физически происходило с сервером.

Где взять логи

Способ зависит от хостинга, но обычно вариантов немного.

Панель управления хостингом. У большинства провайдеров есть раздел с журналами, откуда файлы можно скачать. Часто там же лежит готовая статистика.

Доступ по протоколу передачи файлов. Логи обычно лежат в отдельной папке рядом с папкой сайта.

Запрос в поддержку. Если не нашли — просто попросите, обычно присылают в течение дня.

Полезно сразу выяснить два момента: за какой срок хранятся логи и включена ли запись вообще. Многие хостинги хранят неделю-две, некоторые — только сутки, а на части тарифов запись по умолчанию выключена. Если для вас логи важны, попросите увеличить срок хранения или настройте копирование в отдельное место.

Что записано в строке лога

Типичная строка выглядит громоздко, но состоит из понятных частей:

• адрес обратившегося — с какого сетевого адреса пришёл запрос
• дата и время с точностью до секунды
• тип запроса — обычно получение страницы или отправка данных формы
• что запросили — адрес страницы или файла
• код ответа — трёхзначное число, самая полезная часть
• объём переданных данных
• откуда пришёл — адрес страницы, с которой перешли
• чем пользовался — строка с названием браузера или робота.

Коды ответов стоит знать, они говорят сами за себя:

• 200 — всё в порядке, страница отдана
• 301 и 302 — перенаправление на другой адрес
• 304 — содержимое не изменилось, взято из кэша браузера
• 403 — доступ запрещён
• 404 — запрошенного адреса не существует
• 500 — внутренняя ошибка сервера, что-то сломалось в коде
• 502 и 504 — сервер не дождался ответа, обычно перегрузка
• 503 — сервер временно не может обслуживать запросы.

Уже одно распределение кодов по дням даёт понимание, здоров ли сайт.

Какие вопросы решают логи

Почему сайт был недоступен

Самое частое применение. Клиент говорит «я вчера вечером не мог зайти», а в счётчике всё выглядит нормально — просто потому, что счётчик в момент недоступности не срабатывал.

В логах видно точное время, коды ошибок и что происходило до сбоя: всплеск запросов, обращение к тяжёлой странице, работа робота. Часто картина складывается сразу: например, в 21:40 началась серия запросов к поиску по каталогу с разными параметрами, сервер не справился и начал отдавать ошибки.

Кто создаёт нагрузку

Если хостинг присылает предупреждения о превышении лимитов, ответ почти всегда в логах.

Отсортируйте обращения по сетевым адресам и по строкам браузера. Обычно выясняется одно из трёх: активный поисковый робот, чужой парсер, который выкачивает ваш каталог, или собственный скрипт, работающий по расписанию и делающий это неудачно.

Дальше решение зависит от виновника: роботу — ограничение частоты обхода, парсеру — блокировка, своему скрипту — оптимизация.

Что ищут роботы и всё ли они видят

Логи — единственный способ точно узнать, как поисковые роботы обходят ваш сайт.

Полезные вопросы:

• какие страницы робот посещает чаще всего
• есть ли страницы, к которым он не обращался вообще — значит, они плохо связаны с остальным сайтом
• сколько времени он тратит на служебные и бесполезные адреса
• натыкается ли на ошибки при обходе
• как быстро находит новые материалы.

Классическая находка: робот тратит большую часть обходов на страницы с параметрами фильтров и сортировки, а до реальных карточек товаров добирается редко. Это прямой сигнал, что нужно закрыть служебные адреса от обхода.

Где ошибки, которых не видно

Ошибки сервера часто происходят у отдельных посетителей и в отдельные моменты. Человек столкнулся, ушёл и ничего вам не сказал.

В логах эти случаи видны все. Соберите обращения с кодом 500 за месяц — и вы получите список реальных проблем, о которых иначе не узнали бы. То же с кодом 404: список несуществующих адресов, которые запрашивают, покажет и битые ссылки на вашем сайте, и чужие ссылки на страницы, которые вы удалили или переименовали.

Каждый такой случай — потенциально потерянный посетитель.

Работают ли формы

Отправка формы фиксируется в логах как запрос определённого типа. Сопоставив количество таких запросов с количеством полученных заявок, можно обнаружить расхождение — то есть заявки, которые отправлялись, но до вас не дошли.

Это одна из самых полезных проверок вообще. Ситуация, когда форма «работает», а часть писем теряется по дороге, встречается регулярно и стоит компаниям реальных денег.

Кто пытается взломать

В логах видны все попытки подобрать пароль к административной части, обращения к типовым адресам панелей управления, попытки найти уязвимые файлы.

Само по себе это не повод для паники — такие обращения идут к любому сайту постоянно. Но если попыток очень много с одного адреса или если после серии попыток появился успешный вход, стоит разбираться немедленно.

Ещё один важный сигнал — обращения к файлам, которых у вас быть не должно. Если робот запрашивает файл со странным именем и получает код 200, значит, файл существует. Это может быть признаком заражения.

Откуда реально приходят люди

Поле с адресом источника показывает, откуда переходили. Здесь можно найти площадки и форумы, которые дают переходы, но не отражаются в аналитике корректно, а также обнаружить чужие сайты, которые ссылаются на вас.

Скачивают ли ваши файлы

Прайсы, каталоги, инструкции, коммерческие предложения — обращения к ним видны в логах даже в тех случаях, когда цель в счётчике не настроена. Полезно понимать, какие материалы реально нужны людям.

Как смотреть логи без специальных навыков

Файлы бывают большими — десятки и сотни мегабайт. Открывать их обычным текстовым редактором не стоит.

Готовая статистика на хостинге. У многих провайдеров есть встроенные анализаторы, которые строят отчёты по посещаемости, кодам ответов, источникам и файлам. Для большинства задач этого достаточно.

Электронные таблицы. Небольшой лог можно импортировать с разделением по пробелам и дальше пользоваться фильтрами и сводными таблицами. Способ грубый, но рабочий: за полчаса можно ответить на большинство вопросов.

Специализированные программы для разбора логов. Есть решения, которые строят наглядные отчёты по обходу роботами и по ошибкам. Полезны, если занимаетесь этим регулярно.

Простые команды в консоли сервера. Если есть доступ, несколько стандартных команд позволяют за секунды посчитать распределение кодов ответов, найти самые частые адреса или отобрать обращения конкретного робота. Этому несложно научиться, и это самый быстрый путь.

Помощь специалиста по сопровождению. Самый практичный вариант для владельца бизнеса: попросить разобрать логи и дать выводы. Час работы обычно даёт больше пользы, чем неделя догадок.

Регулярная проверка: что смотреть раз в месяц

Не нужно жить в логах. Достаточно короткого регламента.

Распределение кодов ответов. Сколько успешных, сколько ошибок сервера, сколько несуществующих адресов. Резкий рост ошибок — сигнал разбираться.

Топ несуществующих адресов. Исправить битые ссылки, поставить перенаправления на удалённые страницы.

Топ адресов по количеству обращений. Если в верхушке служебные адреса или страницы фильтров — есть что оптимизировать.

Активность роботов. Не тратят ли обходы впустую, не создают ли избыточную нагрузку.

Пики нагрузки. В какие часы и почему.

Подозрительная активность. Много обращений с одного адреса, попытки входа, странные запросы.

Сверка отправок форм с полученными заявками. Раз в квартал обязательно.

Пятнадцать минут в месяц закрывают большую часть технических неприятностей до того, как они станут заметны клиентам.

Практические примеры находок

Случай первый. Магазин жаловался на медленную работу по вечерам. В логах обнаружилось, что каждый вечер с одного адреса шли тысячи запросов к карточкам товаров — конкурент выкачивал каталог с ценами. После ограничения частоты обращений с этого адреса нагрузка вернулась в норму.

Случай второй. Компания не понимала, почему новые страницы услуг долго не появляются в поиске. Логи показали, что робот почти не заходит в этот раздел: на него не было ссылок из основного меню, а в карте сайта он отсутствовал. Исправили — страницы начали обходиться в течение нескольких дней.

Случай третий. Сайт периодически «моргал» ошибками. Оказалось, скрипт выгрузки товаров запускался каждые пятнадцать минут и блокировал базу данных. Перенесли на ночь и раз в сутки — проблема исчезла.

Случай четвёртый. Заявок с сайта стало меньше, хотя посещаемость не изменилась. В логах количество отправок формы осталось прежним — значит, люди отправляли, но письма не приходили. Проблема была в почтовых настройках после смены хостинга.

Случай пятый. В логах нашлись успешные обращения к файлу со случайным именем в служебной папке. Это оказался управляющий файл, оставленный после взлома. Обнаружили и вычистили до того, как сайт попал под санкции поисковых систем.

Чего логи не покажут

Полезно понимать границы инструмента.

• Они не показывают поведение внутри страницы: прокрутку, нажатия, заполнение полей. Для этого нужен Вебвизор в Метрике.
• Они не свяжут посетителя с рекламной кампанией так же удобно, как аналитика.
• Они не различают людей надёжно: один сетевой адрес может быть у целого офиса.
• Они не покажут, что человек увидел на экране.

Поэтому логи и аналитика не заменяют друг друга, а дополняют. Аналитика отвечает на вопрос «что делали люди», логи — на вопрос «что происходило с сервером».

С чего начать

1. Узнайте у хостинга, включена ли запись логов и сколько они хранятся. При необходимости увеличьте срок.
2. Скачайте лог за последнюю неделю и просто посмотрите на него — этого достаточно, чтобы перестать бояться.
3. Постройте распределение кодов ответов. Если ошибок много, разбирайтесь.
4. Соберите список несуществующих адресов и исправьте битые ссылки.
5. Посмотрите, кто создаёт больше всего обращений.
6. Сверьте количество отправок форм с количеством полученных заявок.
7. Заведите привычку проверять раз в месяц.

Итог

Логи — самый честный источник информации о вашем сайте. Они не приукрашивают, не теряют посетителей с блокировщиками и не зависят от того, сработал ли скрипт. Всё, что случилось с сайтом, записано там построчно.

Владельцу бизнеса не нужно разбираться в них глубоко. Достаточно знать, что этот инструмент существует, и раз в месяц просить посмотреть несколько простых вещей: сколько ошибок, какие адреса запрашивают напрасно, кто грузит сервер и доходят ли заявки. Это дёшево и предотвращает большинство неприятных сюрпризов.

Если вы не знаете, где лежат ваши логи и что в них происходит, специалисты компании «Сайты Профессионально» разберут их за вас: найдут ошибки сервера, источники избыточной нагрузки, проблемы с обходом роботами и потерянные заявки, а затем объяснят выводы понятным языком. Первичный разбор бесплатный — напишите нам, и мы посмотрим, что записано про ваш сайт.