Денис Тарелкин 16 ноября 2026

Страница открылась, картинка зависла. Что ИИ смог понять по логам и трейсам

На локальном HTTP-стенде показываем, как трейс локализует задержку и что подтвердил контрольный прогон.
Страница открылась, картинка зависла. Что ИИ смог понять по логам и трейсам

В тестовом HTTP-сервисе запрос страницы занимал около 15 мс. Запрос изображения в одном режиме доходил до 201 мс, хотя сервер, который отдавал ресурс, отвечал примерно за 14 мс. В логах прокси у обоих маршрутов стоял статус 200. Мы дали Кодексу записи журнала, затем добавили спаны и сравнили, что можно установить по каждому набору данных.

Почему для опыта понадобились три участка запроса

Стенд запустили локально на Node.js 24.22.1. В нём были HTTP-клиент, прокси и сервер, который отдавал тестовые ответы. Клиент по очереди запрашивал /product и /images/product.webp. Первый маршрут представлял страницу товара, второй — запрос ресурса. Мы измеряли прохождение HTTP-запросов, поэтому стенд возвращал короткое тестовое тело и не измерял отрисовку или декодирование изображения браузером.

Идею взяли из официального демо OpenTelemetry. Там флаг `imageSlowLoad` добавляет задержку на прокси Envoy. Для этого опыта мы использовали собственный стенд и записывали спаны самим скриптом. Между участками передавали идентификатор трейса и родительского спана в заголовке traceparent. Это та же идея, которую OpenTelemetry описывает как передачу контекста.

Клиент измерял время до чтения всего ответа. Прокси отмечал время от получения запроса до завершения чтения ответа от сервера. Сервер измерял свой обработчик. Три записи связывались общим идентификатором. Поэтому можно открыть один запрос и увидеть, в какой момент в его обработку включился сервер.

Почему журнал с кодами 200 оставил вопрос открытым

После короткого прогрева сделали три серии по пять запросов на каждый маршрут. В первой задержка была выключена, во второй прокси ждал 180 мс перед пересылкой запроса за изображением, в третьей задержку выключили снова. Получилось 30 запросов, 30 записей журнала и 90 спанов. В журнал прокси писались серия, маршрут, событие ответа и статус. Все запросы завершились с кодом 200.

На этих полях разбор Кодекса сводился к следующему: «Оба маршрута завершались успешно. В журнале нет времени начала, длительности или идентификатора, связывающего запись с измерением. По этим строкам нельзя установить, какой запрос задержался и где он ждал. Нужны длительности для каждого участка того же запроса».

Проверка показала ограничение конкретного журнала. Если бы там были длительность проксирования и время ответа вышестоящего сервиса, часть диагностики можно было бы сделать уже по логам. Код 200 при этом по-прежнему отвечал бы на свой вопрос: чем закончился запрос. Для вопроса пользователя о скорости нужны другие поля.

Что изменилось после добавления спанов

К журналу добавили сводку из измерений и один медленный трейс с цепочкой родительских спанов. В таблице указаны медианы из пяти прогонов в каждой серии. Время отдельных спанов относится к разным участкам одного запроса, поэтому его не складывали.

Маршрут и участок Без задержки Задержка включена Снова без задержки
Страница, клиент 14,88 мс 15,31 мс 15,47 мс
Изображение, клиент 15,37 мс 201,49 мс 15,29 мс
Изображение, прокси 13,54 мс 199,72 мс 13,56 мс
Изображение, сервер 11,79 мс 14,46 мс 11,78 мс

По этим данным Кодекс сформулировал более узкий вывод: «В серии B запрос изображения замедлился на клиенте и в прокси примерно на 186 мс. На сервере изменение медианы составило около 3 мс. В одном медленном трейсе сервер начал работу через 183,84 мс после начала спана прокси. Следующая проверка — найти, что происходит в прокси до отправки запроса на сервер».

В этом трейсе спан клиента длился 201,94 мс, прокси — 200,02 мс, сервера — 14,46 мс. Важнее длительности оказалась отметка начала. Она показала, что почти вся пауза прошла до того, как сервер взялся за запрос. Длительность спана прокси включает ожидание сервера, поэтому складывать их нельзя. Для локализации полезнее посмотреть на их положение на шкале.

Как проверили причину и что осталось за пределами вывода

Модель смогла указать участок ожидания, а точную причину подтвердил контрольный прогон. Мы выключили задержку и повторили те же запросы. Медиана для изображения у клиента вернулась с 201,49 до 15,29 мс. Для страницы все три серии остались в районе 15 мс. В коде стенда между началом спана прокси и запросом на сервер стоял таймер, который действовал только на маршрут изображения.

Если бы мы остановились на первом медленном трейсе, причины могли бы быть разными: очередь, установление соединения, повторная попытка или ожидание внутри прокси. Метки времени сужают поиск до определённого участка. Конкретный механизм устанавливается по дополнительным данным или после изменения одного условия. В нашем случае это выключение таймера.

Разбор записей сделал тот же Кодекс, который подготовил стенд. Он знал устройство эксперимента, поэтому мы не используем этот прогон как независимую оценку модели. Здесь можно проверить другое: какие выводы прямо следуют из журнала, что добавляет трейс и как подтвердить гипотезу отдельным запуском. Для сравнения моделей пришлось бы дать им одинаковые выгрузки без описания причины и заранее определить критерии ответа.

Какие именно записи показали модели

Для первой части разбора достаточно двух строк из журнала прокси. Ниже оставлены поля, которые скрипт действительно записал. Буква B обозначает серию и позволяет отфильтровать данные, но в самой строке нет объяснения, чем эта серия отличается от остальных.

        B  proxy  /product              response  200
B  proxy  /images/product.webp  response  200
    

Вторая выгрузка содержит измерения трёх участков одного запроса за изображением. Для читаемости точка отсчёта перенесена к началу спана клиента. В сыром файле у трёх строк один traceId, а parentSpanId связывает клиент с прокси и прокси с сервером.

Участок Начало относительно клиента Длительность
Клиент 0 мс 201,94 мс
Прокси 0,98 мс 200,02 мс
Сервер 184,82 мс 14,46 мс

Если поставить эти числа на временную шкалу, видно, что сервер включился поздно и завершился почти одновременно с прокси. Разница между началом прокси и началом сервера составляет 183,84 мс. Это число полезнее разности медиан для ответа о конкретном запросе: три отметки относятся к одной операции. Медианы из серии нужны для другого вопроса — воспроизводится ли картина в нескольких запросах.

Как отделить подсказку модели от результата измерения

В постановке можно запретить перескакивать от одного признака к готовой причине. Например: «Укажи наблюдение и строку, которая его подтверждает. Если в журнале есть только код ответа, скажи, какого поля не хватает. Если есть трейс, найди интервал ожидания и предложи один контрольный прогон». В нашем случае ответ про ожидание до обращения к серверу можно проверить по двум отметкам начала. Назвать причиной таймер можно после чтения кода и обратного переключения.

Такой порядок пригодится и в случаях, когда модель выглядит уверенной, а данных мало. Если она пишет «база была перегружена», попросите указать спан запроса к базе или метрику, которая показывает перегрузку. Если в выгрузке нет ни того ни другого, эту версию оставляют гипотезой. Следующий шаг тогда связан с поиском недостающего измерения, а не с изменением настроек базы.

Когда можно начать с расширенного журнала

Наш первый журнал намеренно простой. Если прокси уже пишет время ответа, длительность обращения к вышестоящему сервису и идентификатор запроса, он даст гораздо больше. Например, долгое общее время при коротком обращении к серверу сразу сузит поиск. Сначала проверьте, как именно ваш прокси определяет эти поля. В разных системах одно поле может включать соединение и чтение тела, другое — только ожидание первого байта.

Трейс пригодится, когда один запрос проходит через несколько сервисов или внутри него есть параллельные операции. Общий идентификатор сохраняет связь, а время начала помогает увидеть порядок. Если часть запроса не попала в трассировку, вернитесь к журналу этого компонента и сопоставьте события по идентификатору или времени. В рабочей диагностике полезны обе формы данных, а выбор первого шага зависит от того, какие поля уже есть.

Как перенести этот порядок проверки на свой сервис

Начните с формулировки симптома, которую можно сопоставить с запросом. «Каталог тормозит» может означать медленный HTML, долгое получение изображений или задержку после загрузки данных. Возьмите два сопоставимых запроса и зафиксируйте маршрут, статус, длительность и идентификатор трейса. При сравнении браузерных сценариев проследите, чтобы нужный ресурс действительно запрашивался: попадание в локальный кеш уберёт сетевой запрос из следующего прогона.

При передаче данных модели оставьте относительное время, имя сервиса и связь родительских спанов. Уберите токены, пользовательские данные и содержимое запросов, если оно не нужно. Для ответа полезно дать короткую постановку: «Сначала назови наблюдение и укажи записи, на которые опираешься. Затем предложи гипотезу и одну проверку, которая сможет её опровергнуть». Если модель называет точную причину, проверьте, видна ли она в данных или пока указана только область поиска.

Когда один и тот же маршрут иногда работает быстро, а иногда медленно, сначала выделите несколько трасс из каждой группы. Одиночный трейс помогает найти границу конкретного запроса. Серия нужна, чтобы выяснить, повторяется ли проблема на этом же участке. Логи помогут связать её с событиями, например повторными попытками или таймаутами, а метрики покажут, как часто это происходит. OpenTelemetry описывает эти данные как разные сигналы. В нашем тесте полезным оказался именно переход от журнала с успешным статусом к шкале одного HTTP-запроса и затем к повторному измерению.

Комментарии