Google ввела программируемый перехват вызовов и инструментов в Genkit для контроля поведения в рантайме

Google объявила обновление Genkit: в платформу добавлен программируемый перехват исполнения, который позволяет контролировать шаги генерации, отдельные вызовы моделей и выполнение внешних инструментов в рантайме — без переписывания бизнес‑логики. Это изменение нацелено на повышение надёжности и безопасности систем, где модели действуют как агенты или обращаются к набору инструментов, и даёт разработчикам централизованный способ вводить операционные защиты в production.

Технически Genkit обрабатывает каждый вызов через generate() как итеративный цикл: модель генерирует вывод, запускаются инструменты, результаты инструментов возвращаются в систему и обработка повторяется до завершения задачи. В эту последовательность встроены три уровня middleware — на уровне самой генерации, на уровне отдельных вызовов модели и на уровне выполнения инструментов — что позволяет вставлять промежуточное поведение (трансформации вывода, валидацию, трассировку и т.д.) между этапами без изменения основного кода приложения.

В релиз вошёл набор предустановленных middleware: обработка повторных попыток с экспоненциальным бэкоффом, автоматический фоллбек на альтернативные модели при сбоях API, механизмы согласования (approval‑gate) для чувствительных вызовов инструментов, контроль доступа к файловой системе и система «skills», которая динамически подгружает инструкции из локальных файлов. Компоненты можно складывать в выбранном порядке, чтобы комбинировать retries, фильтры, approval‑gate и логирование в единой цепочке исполнения и тем самым формировать нужную оркестрацию поведения.

Genkit уже поддерживает TypeScript, Go и Dart; поддержка Python ожидается в ближайшем обновлении. Middleware доступны в Genkit Developer UI: интерфейс позволяет инспектировать поведение отдельных компонентов, трассировать пути выполнения, отлаживать взаимодействия в рантайме и анализировать причины отказов в production‑окружениях. Разработчики также получат возможность публиковать собственные пакеты middleware для повторного использования внутри команды или продукта.

Анонс отражает более общий тренд в экосистеме AI‑инструментов — добавление операционных защит и runtime‑контролей поверх простых промптов и тюнинга моделей. В сообществе вырисовывается чёткая грань между Genkit и Google Agent Development Kit (ADK): по словам инженера Google Майкла Дойла, если нужно добавить agentic‑функции в веб‑ или мобильное приложение, следует выбирать Genkit, а для построения сложных standalone мульти‑агентных систем на платформе GCP Agent Platform — ADK.

Google сообщает, что новая система доступна сразу в последнем релизе Genkit и может быть использована в существующих приложениях для введения централизованных retries, фоллбеков, approval‑gate и аудита без модификации бизнес‑логики. Для разработчиков это означает больше инструментальных средств контроля поведения моделей в продакшене и упрощённый путь от прототипов к устойчивым агентным функциям с управляемой оркестрацией и безопасностью.