Плагин на OpenTelemetry даёт детальную видимость выполнения автономного агента Hermes

Плагин наблюдаемости на базе OpenTelemetry восстановит пошаговую цепочку выполнения автономного рантайма Hermes, делая видимыми те этапы, которые ранее оставались «чёрным ящиком». Это позволяет трассировать расходы, задержки, вызовы инструментов и подозрительные операции — информация полезна прежде всего разработчикам и инженерам, отвечающим за эксплуатацию и безопасность агентов. Hermes представляет собой рантайм автономного агента, где один пользовательский запрос может развернуться в несколько раундов инференса, последовательных обращений к инструментам, повторную инъекцию результатов и расширение контекста. Модель на каждом шаге сама решает, нужен ли инструмент, и результаты вызовов влияют на дальнейшие ветви рассуждений, из‑за чего расходы, латентность и ошибки часто возникают внутри процесса, а не только в финальном ответе.

Плагин собирает события исполнения в структурированную «цепочку вызовов»: фиксируются начало сессии, число раундов, перечень вызванных инструментов, объём потраченных токенов на каждом этапе, шаг с максимальной задержкой и локализация пограничных сбоев. В инструмент также встроены механизмы обнаружения подозрительных операций и потенциальных утечек чувствительных данных, что облегчает аудит и расследование инцидентов. Релиз ориентирован на практическую диагностику четырёх классов проблем: полная невидимость промежуточной процедуры (когда остаётся лишь ввод и вывод), невозможность атрибутировать расходы к отдельным раундам, недостаточная декомпозиция производительности (разделение задержек первого токена и полной генерации, а также влияние задержек инструментов против ReAct‑циклов) и отсутствие средств для ревью промежуточных результатов.

Для инженеров это даёт конкретные операционные преимущества: распределение токенов по раундам помогает понять, какой шаг «взорвал» счёт; разбивка по стадиям показывает, замедляет ли систему модель, инструмент или бесконечные ReAct‑циклы; логирование вызовов и содержимого инструментов упрощает проверку на соответствие политике безопасности и регуляторным требованиям. Интеграция через OpenTelemetry обеспечивает совместимость с существующими системами мониторинга, что упрощает отладку и оптимизацию архитектуры агента. Внедрение плагина позволяет оперативно отвечать на типовые эксплуатационные вопросы: почему в конкретном запуске выросли расходы, почему ухудшилось качество отклика, действительно ли был вызван тот или иной инструмент и не произошло ли утечки данных. Техническая совместимость со стандартными наблюдательными стеком делает этот инструмент удобным для интеграции в уже работающие пайплайны.