Amazon Bedrock presenta opciones para ejecutar Programmatic Tool Calling y reducir latencia

Una publicación técnica de Amazon Bedrock explica cómo Programmatic Tool Calling (PTC) permite generar y ejecutar código aislado para consolidar múltiples invocaciones de herramientas, reduciendo consumo de tokens y latencia en flujos con varias llamadas.

Amazon Bedrock describe alternativas para implementar Programmatic Tool Calling (PTC) con el objetivo de reducir la latencia y el uso de contexto en flujos que requieren varias llamadas a herramientas externas. esto beneficia especialmente a equipos que procesan grandes volúmenes, realizan cálculos numéricos precisos o manejan datos sensibles con requisitos de privacidad.

PTC consiste en muestrear una sola vez para que el modelo produzca código (por ejemplo, Python) que, dentro de un sandbox, puede realizar múltiples invocaciones de funciones, aplicar bucles, condicionales y lógica de agregación, y filtrar o transformar datos antes de devolver un único resultado al contexto del modelo. El enfoque se contrasta con el llamado tradicional de herramientas, que obliga a enviar repetidamente el estado al modelo entre cada invocación y genera mayor latencia y consumo de tokens.

Aunque PTC surgió ligado a características de proveedores, el patrón descrito es agnóstico al modelo: generación única de código y ejecución aislada para manejar múltiples llamadas internamente. Para desplegar PTC dentro de Amazon Bedrock, la publicación recomienda tres rutas: ejecutar un sandbox Docker autogestionado sobre Amazon ECS para máximo control operacional; optar por una solución gestionada basada en AgentCore Code Interpreter para simplificar la operación; o emplear un proxy compatible con el Anthropic SDK para equipos que prefieran esa experiencia de desarrollo.