Логи запросов
Как посмотреть логи каждого запроса, отфильтровать нужные и выгрузить. В конце статьи — список параметров логов и их описание.
Что это
Логи запросов — инструмент, который показывает детальную информацию о каждом запросе к вашему ресурсу.
Вы увидите полный контекст запроса: кто его отправил (бот или человек), с какого IP и ASN, из какой страны, что и как запросил, какое действие защита применила к запросу и по какой причине, какие остались отпечатки клиента.
Чем полезны
Инструмент поможет:
-
найти конкретный запрос по IP-адресу, пути или другому параметру;
-
понять, почему защита пропустила, заблокировала или отправила запрос на проверку;
-
найти источники подозрительных запросов;
-
разобраться, почему конкретный пользователь не смог открыть ваш ресурс;
-
собрать данные, чтобы точнее настроить защиту.
Ниже пара примеров, когда вам пригодятся логи — кликните на название, чтобы раскрыть текст.
Пользователь жалуется, что ваш сайт недоступен
Пользователь пытался зайти на сайт и получил ошибку 403 Forbidden. Он написал вам и приложил диагностические данные со страницы ошибки: ID запроса, IP и время.
Вы открыли Логи запросов, отфильтровали записи по Request ID и увидели, что запрос заблокирован по геофильтрации: вы сами запретили доступ из-за границы, а запрос пришёл с иностранного IP. Позже выяснилось, что у пользователя был включён VPN.
Настройки вы менять не стали — система сработала корректно. Зато добавили на страницу 403 подсказку с советом отключить VPN. Теперь пользователи быстрее решают проблему сами и реже обращаются в поддержку.
Застраховать эндпоинт от перегрузки
Вы открыли Аналитику на вкладке Топ запросов и заметили много обращений к странице /search/advanced. Она отвечает за расширенный поиск по сайту. Функционал полезный, но ресурсоёмкий — если запросов станет ещё больше, это может перегрузить бэкенд.
Вы решили узнать, кто вообще обращается к странице: перешли в Логи запросов и поставили фильтр Path = /search/advanced. В логах видно, что страницу активно запрашивают не только люди, но и боты. Похоже, они парсят контент.
Чтобы снизить нагрузку, вы добавили правило защиты для этой страницы: блокировать ботов (Bot, Likely bot), а остальных проверять JS-челленджем. В результате лишняя нагрузка исчезла, а реальные пользователи без проблем пользуются поиском.
Как пользоваться
1. Откройте «Логи запросов»
Перейдите в раздел Защита приложений → Ресурсы. Напротив нужного ресурса нажмите на многоточие (…) и выберите Логи запросов. Откроется журнал запросов, все дальнейшие шаги выполняйте в нём.
2. Выберите нужную вкладку
Если используете схему интеграции Module, Hybrid или IP-транзит, пропустите этот шаг — у вас одна вкладка, где собраны логи анализа запросов системой защиты.
Если используете схему Proxy, вы увидите две вкладки:
-
Логи проверки по политикам — логи анализа запросов системой защиты.
-
Весь трафик — логи скорости ответа от ваших серверов и отданных ими HTTP-статусов.
Выберите нужную. Подробнее о вкладках в таблице ниже.
Почему при Module, Hybrid и IP-транзит нет логов ответов от серверов?
Потому что у Servicepipe нет таких данных.
При схеме Proxy Servicepipe выступает как reverse proxy и видит, какой ответ отдали ваши серверы и как быстро. При других схемах ответы уходят клиентам напрямую, минуя Servicepipe — поэтому у нас нет нужной информации.
| Весь трафик | Логи проверки по политикам | |
|---|---|---|
Для чего использовать |
|
Узнать, как система защиты проанализировала и отфильтровала запрос:
|
Что попадает в логи |
Все запросы |
Все запросы, за исключением случаев, когда:
|
Какие данные можно увидеть по каждому запросу |
|
|
Как выглядит |
|
|
График: число запросов в минуту |
Доступен |
Доступен |
Выгрузка логов |
Недоступна |
Доступна, можно отправить CSV-файл на имейл |
3. Настройте фильтры
|
Срок хранения логов — 2 недели. На экран можно вывести логи за любые 24 часа в пределах этих 2 недель. |
По умолчанию показаны все логи за последние 15 минут. Чтобы изменить настройки, используйте меню справа:
Измените временной диапазон. Нажмите кнопку Последние 15 минут и выберите нужный вам период.
Добавьте фильтры. Нажмите Добавить фильтр и укажите, каким параметрам должны соответствовать логи, которые вы хотите посмотреть. Если добавить несколько фильтров, они будут работать по логике И — вы увидите только запросы, соответствующие всем условиям одновременно.
Пример. Вы добавили фильтры: Country — equals any of — CN и Path — contains any of — /login.php. В таблице останутся только запросы из Китая, путь которых содержит /login.php.
Кликните кнопку ниже, чтобы прочитать описание каждого фильтра.
Список фильтров
Ниже приведён полный список фильтров. В зависимости от того, какую вкладку вы открыли на шаге 2, список фильтров на экране может отличаться.
-
Request ID— уникальный ID запроса, назначенный нашей системой. -
Session ID— уникальный ID сессии, к которой относится запрос. -
User agent— значение заголовка User-Agent (информация об устройстве и приложении клиента). -
Source IP— IP-адрес источника запроса. -
Hostname— имя хоста (домен), к которому был отправлен запрос. -
Referer— значение заголовка Referer (URL-адрес, с которого клиент перешёл на ваш ресурс). -
Source class— класс источника запроса: бот, вероятно бот, человек или вероятно человек. -
Action— действие, которое система защиты применила к запросу, например пропустила на ваш ресурс или заблокировала. -
Reason— причина, по которой было применено действие. -
Rule ID— ID сработавшего пользовательского правила. -
Country— двухбуквенный код страны, откуда пришёл запрос. -
Netname— имя сети, которой принадлежит IP-адрес источника. -
ASN— номер автономной системы (провайдера) источника. -
Subnet— подсеть источника в CIDR-нотации. -
SP hash (loose)— нестрогий хэш цифрового отпечатка клиента. Учитывает только базовые признаки TLS (набор шифров); совпадение по этому хэшу означает «похожий TLS-профиль». Подходит для первичного объединения трафика по «семействам» клиентов. -
SP hash (medium)— хэш цифрового отпечатка клиента средней строгости. Учитывает TLS-профиль, параметры соединения и общий HTTP-отпечаток; совпадение по этому хэшу означает «похожий клиент и способ формирования запроса». Подходит для более точной, но достаточно устойчивой группировки трафика. -
SP hash (strict)— строгий хэш цифрового отпечатка клиента. Учитывает TLS-профиль, параметры соединения, общий HTTP-отпечаток и набор HTTP-заголовков; совпадение по этому хэшу означает «почти одинаковый запрос», а любые заметные изменения в заголовках чаще всего приводят к новому значению хэша. Подходит для точного сопоставления конкретных сценариев и клиентов, но более чувствителен к вариациям. -
JA3— хэш JA3-отпечатка (TLS-отпечатка клиента, сформированного методом JA3). -
Request type— тип запрошенного контента: статический (static) или динамический (script_ajax/script). Если значение содержит_ajax, это означает, что запрос был отправлен в AJAX-локацию. -
Method— метод HTTP-запроса. -
Path— путь HTTP-запроса. -
Query params— параметры запроса, переданные в URL после знака?. -
Bot score— числовая оценка того, насколько источник запроса похож на бота по своим техническим и поведенческим признакам. Вычисляется для источников, которые прошли JS-челлендж. Принимает значения от 0 до 1: чем выше значение, тем больше признаков бота. Подробнее о bot score. -
Scheme— протокол, по которому был отправлен запрос: HTTP или HTTPS. -
Upstream status— HTTP-статус, который вернул сервер-источник. -
HTTP version— версия протокола HTTP, которую использовал клиент. -
Status— HTTP-статус, который система вернула клиенту. -
Upstream IP address— IP-адрес сервера-источника, на который был передан запрос. -
Upstream port— порт сервера-источника, на который был передан запрос. -
Upstream response time— время от момента, когда система защиты отправила запрос на сервер-источник, до момента, когда она получила ответ. -
Request time— общее время обработки запроса: от момента, когда система защиты получила запрос, до момента, когда она отправила ответ клиенту.
4. Раскройте логи
Откроется список логов, соответствующих вашим фильтрам.
Нажмите > в начале строки, чтобы раскрыть все параметры конкретного запроса.
5. Посмотрите графики
Кликните иконку графика: вы увидите, как менялось количество соответствующих фильтрам запросов. Один столбец — число запросов за одну минуту.
Это поможет визуально оценить нагрузку на ресурс и подобрать подходящие лимиты для настройки пользовательских правил.
6. Выгрузите логи
|
Выгрузка недоступна для вкладки |
Кликните иконку конверта — система сформирует CSV-файл с логами запросов, которые вы отфильтровали, и отправит его на имейл, указанный в настройках вашего аккаунта.
Выгрузка пригодится, если нужно передать логи другому специалисту или продолжить анализ во внешнем сервисе.
Описание параметров
Ниже приведён полный список параметров. В зависимости от того, какую вкладку логов вы открыли, набор параметров у вас на экране может отличаться.
| Параметр | Что значит | Примеры / возможные значения |
|---|---|---|
Дата и время |
Точное время, когда система получила запрос |
|
Гео (страна) |
Страна источника, которую система определила по IP-адресу |
|
IP (IP источника) |
IP-адрес, откуда пришёл запрос |
|
Статус |
HTTP-статус, который система вернула клиенту |
|
User agent (UA) |
Значение заголовка User-Agent с информацией о браузере, приложении или другом клиенте |
|
Метод |
Метод HTTP-запроса |
|
HTTP-путь (Path) |
Путь HTTP-запроса |
|
HTTP-хост |
Имя хоста или IP-адрес, к которому был отправлен запрос |
|
HTTP-реферер (HTTP Referer) |
Значение заголовка Referer с адресом страницы, с которой был отправлен запрос |
|
Схема |
Протокол, по которому был отправлен запрос |
|
Query-параметры |
Параметры запроса, переданные в URL после знака ? |
|
Версия HTTP |
Версия протокола HTTP, которую использовал клиент |
|
Статус апстрима |
HTTP-статус, который вернул сервер-источник |
|
IP апстрима |
IP-адрес сервера-источника, на который был передан запрос |
|
Порт апстрима |
Порт сервера-источника, на который был передан запрос |
|
Время ответа апстрима |
Время от момента, когда система защиты отправила запрос на сервер-источник, до момента, когда она получила ответ |
|
Время запроса |
Общее время обработки запроса: от момента, когда система защиты получила запрос, до момента, когда она отправила ответ клиенту |
|
Идентификатор запроса |
Уникальный ID запроса, присвоенный нашей системой |
|
Идентификатор сессии |
Уникальный ID сессии, к которой относится запрос |
|
Действие |
Действие, которое система применила к запросу |
|
Причина |
Причина, по которой система защиты применила Действие |
Всего есть 29 возможных причин
|
Исходный класс |
Класс, присвоенный клиенту после анализа запроса |
|
Bot score |
Числовая оценка того, насколько источник запроса похож на бота по своим техническим и поведенческим признакам |
Вычисляется для источников, которые прошли JS-челлендж. Принимает от 0 до 1 с шагом 0.1:
от
|
Subnet (Подсеть) |
Подсеть, которой принадлежит IP, откуда был отправлен запрос |
|
ASN |
Номер и название автономной системы (провайдера), которой принадлежит IP источника запроса |
|
Netname (Имя сети) |
Зарегистрированное имя сети для диапазона IP-адресов, которому принадлежит IP источника запроса |
|
Описание метки |
Признаки, по которым система защиты определила, какому Исходному классу соответствует клиент |
|
JA3 |
Хэш JA3-отпечатка (TLS-отпечатка клиента, сформированного методом JA3) |
|
SP hash (loose) |
Нестрогий хэш цифрового отпечатка клиента. Учитывает только базовые признаки TLS (набор шифров); совпадение по этому хэшу означает «похожий TLS-профиль». Подходит для первичного объединения трафика по «семействам» клиентов. |
|
SP hash (medium) |
Хэш цифрового отпечатка клиента средней строгости. Учитывает TLS-профиль, параметры соединения и общий HTTP-отпечаток; совпадение по этому хэшу означает «похожий клиент и способ формирования запроса». Подходит для более точной, но достаточно устойчивой группировки трафика. |
|
SP hash (strict) |
Строгий хэш цифрового отпечатка клиента. Учитывает TLS-профиль, параметры соединения, общий HTTP-отпечаток и набор HTTP-заголовков; совпадение по этому хэшу означает «почти одинаковый запрос», а любые заметные изменения в заголовках чаще всего приводят к новому значению хэша. Подходит для точного сопоставления конкретных сценариев и клиентов, но более чувствителен к вариациям. |
|
Тип запроса |
Тип запрошенного контента: статический или динамический |
|