Amazon presentó Advanced Prompt Optimization, una función de Amazon Bedrock diseñada para optimizar plantillas de prompts y acelerar la migración entre modelos de inferencia. La herramienta ejecuta bucles de retroalimentación basados en métricas para reescribir y comparar prompts, y permite verificar que las respuestas no presenten regresiones en casos de uso conocidos. De este modo, los equipos pueden automatizar ajustes de prompts que antes exigían pruebas manuales extensas y reducir el riesgo al cambiar de modelo.
La optimización acepta como entrada una plantilla de prompt, ejemplos de entradas de usuario, respuestas de referencia (ground truth) y una métrica de evaluación definida por el usuario. Además, soporta entradas multimodales — png, jpg y pdf-para tareas de análisis de documentos e imágenes, lo que amplía su aplicabilidad a flujos que combinan texto y ficheros visuales. Como resultado del proceso, la función devuelve las plantillas original y final, junto con puntuaciones de evaluación y estimados de costo y latencia, para facilitar la comparativa y la toma de decisiones.
Para iniciar un trabajo, el usuario puede usar la consola de Bedrock y seleccionar la opción "Create prompt optimization". En la configuración es posible elegir hasta cinco modelos de inferencia que participarán en la comparación; además, al migrar, se puede designar el modelo en uso como línea base. Si no se cambia el modelo, la herramienta permite optimizar exclusivamente el modelo actual y comparar resultados antes y después, lo que ayuda a validar mejoras sin modificar la infraestructura de inferencia.
El formato requerido para las entradas es JSONL: cada objeto JSON debe ocupar una sola línea. Un campo obligatorio en esos objetos es "version": "bedrock — 2026-05-14". El esquema admite campos como templateId, promptTemplate, steeringCriteria, customLLMJConfig, evaluationMetricLambdaArn y evaluationSamples; las variables de entrada pueden referenciar archivos almacenados en Amazon S3 para incorporar datos multimodales en los ejemplos de evaluación.
Bedrock ofrece tres mecanismos principales para evaluar la calidad de las respuestas generadas. El primero es una función AWS Lambda que ejecuta lógica de puntuación personalizada — por ejemplo accuracy, F1 o coincidencia JSON— y devuelve métricas numéricas. El segundo es un enfoque de LLM-as-a-Judge que aplica una rúbrica definida y puntúa las respuestas según criterios objetivos. El tercero son criterios de steering expresados en lenguaje natural que el juez evalúa de forma holística; esa combinación permite tanto métricas automáticas como juicios más humanos sobre la calidad y la adecuación de las salidas.
Por defecto, el juez LLM que Bedrock propone es Claude Sonnet 4.6, aunque el usuario puede seleccionar otros modelos de juez disponibles en la plataforma. Esta flexibilidad permite adaptar la evaluación al dominio y estilo deseados, y combinar una función Lambda para medidas estrictas con un juez LLM para evaluaciones más subjetivas o de formato complejo.
El flujo completo de trabajo implica subir las plantillas y los datos de ejemplo, bien directamente desde la consola o bien referenciándolos en Amazon S3; Bedrock envía entonces las solicitudes a los modelos seleccionados, evalúa las respuestas según la métrica escogida y reescribe el prompt en un bucle iterativo hasta alcanzar la optimización. Un mismo trabajo puede incluir múltiples plantillas, y cada plantilla puede usar un método de evaluación distinto, lo que permite experimentar con diferentes criterios y objetivos dentro de una única ejecución.
La función está disponible desde hoy en varias regiones: US East — N. Virginia, Ohio; US West — Oregon; Asia Pacific — Mumbai, Seoul, Singapore, Sydney, Tokyo; Canada Central; Europa — Frankfurt, Ireland, London, Zurich; y South America — São Paulo. El cobro se realiza en función de los tokens de inferencia del modelo Bedrock consumidos durante la optimización, por lo que los costes dependen del volumen de solicitudes y de los modelos empleados en el trabajo. Para quienes necesiten ejemplos prácticos y guías de uso, Bedrock publica una guía específica de Advanced Prompt Optimization y ejemplos en GitHub que muestran formatos JSONL, plantillas de prompts y patrones de evaluación. Esa documentación incluye fragmentos de código y muestras de configuración para ayudar a integrar la optimización en flujos de trabajo existentes y a reproducir pruebas de migración entre modelos.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
