AgentCore получил поддержку пользовательских Lambda‑оценщиков для проверки агентов финансовой аналитики

Пост показывает, как реализовать четыре Lambda‑функции в роли код‑оценщиков для AgentCore, зарегистрировать их и запускать в on‑demand и online режимах, комбинируя с LLM‑оценками и сервисами проверки фактов и PII.

Amazon Bedrock AgentCore теперь поддерживает пользовательские код‑оценщики, реализованные как AWS Lambda‑функции, что позволяет детерминированно проверять ответы агентов финансовой аналитики и уменьшать обращения к LLM‑оценке. Это важно для систем с низкой толерантностью к ошибкам: у разработчиков появляется возможность автоматизировать валидации, которые однозначно алгоритмичны, и применять их и в CI/CD, и в продакшн‑потоке. В опубликованном руководстве показано создание и интеграция четырёх Lambda‑оценщиков: их регистрируют в AgentCore и запускают в двух режимах — on‑demand (по запросу) и online (оценка живого трафика). Авторы демонстрируют, как комбинировать эти код‑оценщики с уже существующими LLM‑оценками и подключать внешние сервисы для проверки фактов и обнаружения PII, сохраняя при этом управляемость и воспроизводимость результатов.

Технически оценщики реализованы как Lambda‑функции, выполняющие детерминированную логику: регулярные выражения и структурную валидацию JSON, запросы к внешним источникам, вычисления по опорным данным и бизнес‑правила. Такой код возвращает контролируемую метрику и балл напрямую из логики функции, что позволяет переиспользовать оценщик без расхода токенов FM и встроить проверку в CI/CD‑пайплайны или в потоковую оценку продакшен‑трафика. Авторы выделяют несколько качественных размерностей, где код‑оценщики особенно эффективны: валидность схем инструментов (JSON‑схемы), числовая точность котировок и метрик в пределах настраиваемой погрешности, соблюдение последовательности рабочей логики (workflow‑контракты) и надёжная фильтрация PII и секретов. Для каждой задачи детерминированная проверка даёт воспроизводимые результаты и упрощает локализацию причин ошибок на этапе интеграции и в работе.

В публикации приведены практические примеры реализации: проверка схемы ответа на границе интеграции, сравнение числовых значений с опорным источником с учётом допустимой полосы отклонения, инспекция последовательности вызовов инструментов в рамках сессии и вызов сервисов для обнаружения PII или сканирования секретов. Все примеры показывают, как связать Lambda‑оценщики с другими сервисами для оперативной и обоснованной валидации.

Для разработчиков ключевое практическое следствие — сочетать код‑оценщики и LLM‑оценку: код обеспечивает контрактную валидацию чисел, схем и процессов, тогда как LLM‑оценщики дополняют оценку качества языка, понятности и полезности ответов. Авторы рекомендуют в системах с низкой толерантностью к ошибкам реализовать схемную валидацию, проверку числовой точности и контроль порядка вызовов через Lambda‑оценщики и интегрировать эти проверки в AgentCore, чтобы снизить издержки и повысить надёжность.