Практическое руководство по мониторингу агента LangGraph с AI Agent Monitoring и LLM Observability

В блоге опубликовано практическое руководство по инструментированию агент‑приложения, созданного на LangGraph, с помощью AI Agent Monitoring и LLM Observability SDK. Авторы — Thomas Sobolik и Takaaki Tsunoda — адаптировали агент из примера из «Build & Run AI Agents» (автор Minorun) и выложили исходный код в репозиторий на GitHub. Руководство показывает, как добавить трассировку и телеметрию в агент, чтобы быстро обнаруживать ошибки и узкие места во временных характеристиках, что особенно важно для команд, интегрирующих внешние инструменты и сервисы.

Архитектура примера агента состоит из трёх узлов: agent, route_node и tools. Узел agent использует Claude Sonnet 4.6 через Amazon Bedrock, получает историю сообщений и системный промпт и принимает решение — вызвать инструмент или вернуть финальный ответ. Узел route_node служит для перенаправления входов с tool_calls к узлу tools или для завершения цикла выполнения, обеспечивая контроль над переходами между шагами рабочего процесса.

Узел tools реализует два инструмента: TavilySearch, выполняющий веб‑поиск и возвращающий два лучших результата, и send_aws_sns, публикующий итоговый текст в тему Amazon SNS. В типичном прогона агент формирует запрос, вызывает TavilySearch, оценивает полученные результаты и при необходимости запускает дополнительный поиск; по завершении обработки данных агент вызывает send_aws_sns, после чего цикл считается завершённым. Руководство описывает именно эту последовательность как основной сценарий использования.

Авторы подробно перечисляют, какие элементы рабочего процесса следует отслеживать: шаги агента до и после LLM‑вызовов (включая входные промпты и ответы), список вызванных инструментов и их результаты, инъекции контекста и преобразования данных, а также метрики задержек и потребления токенов. Эти наблюдаемые данные помогают оценивать производительность, контролировать затраты и диагностировать некорректные или неожиданные поведения на каждом этапе прогона.

Комбинация LLM Observability и AI Agent Monitoring даёт возможность трассировать полные прогоны агента и визуализировать их во встроенных flame‑графах, что упрощает поиск источников ошибок и латентности. Руководство также описывает автоматические оценки качества ответов (LLM‑as‑a‑judge) и интеграцию телеметрии с дашбордами, оповещениями и системами APM для централизованного мониторинга. Для включения мониторинга в приложение необходимо добавить инициализацию LLMObs в код и файл. ml_app = os.getenv("ML_APP_NAME") и api_key = os.getenv("DD_API_KEY"). Это позволяет связывать трассировки агентов с организационными метриками и повышать надёжность интеграций с внешними инструментами, такими как Tavily и SNS.