AgentCore estrena en vista previa recomendaciones automáticas, evaluación por lotes y pruebas A/B para mantener la calidad

AgentCore lanzó en vista previa un conjunto de capacidades diseñadas para automatizar el ciclo de observación, evaluación y mejora de agentes conversacionales y de automatización, con el objetivo de detectar y corregir degradaciones en la calidad sin recurrir a procesos manuales repetitivos. La función de Recomendaciones examina trazas de producción y salidas de evaluación para proponer ajustes concretos — por ejemplo, optimizaciones del system prompt o de las descripciones de herramientas— y así transformar la revisión artesanal de logs en un flujo sistemático de propuestas accionables.

Una Recommendations API permite apuntar al grupo de logs en CloudWatch donde el agente escribe sus trazas y elegir la señal de recompensa que se desea optimizar: puede usarse un evaluador integrado o uno personalizado. Esa configuración precede a la generación de propuestas y facilita que las recomendaciones se funden en datos reales de producción. Para validar cambios, AgentCore incorpora evaluación por lotes que ejecuta la recomendación contra un conjunto de pruebas predefinido y reporta puntajes agregados, lo que ayuda a detectar regresiones en casos clave antes de desplegar modificaciones en producción.

Cuando los escenarios manuales no son suficientes, la plataforma ofrece la opción de simular un dataset mediante un actor respaldado por un LLM, lo que amplía la cobertura de pruebas y permite evaluar efectos en situaciones más variadas sin afectar tráfico real. Las pruebas A/B se realizan mediante AgentCore Gateway, que divide el tráfico en vivo según el porcentaje configurado y devuelve métricas con intervalos de confianza y evaluación de significancia estadística, de modo que los equipos puedan comparar variantes con rigor estadístico.

El lanzamiento responde a un problema operativo conocido: los agentes tienden a degradarse a medida que evolucionan los modelos, cambian los comportamientos de usuario o se reutilizan prompts en nuevos contextos. En muchas organizaciones la mejora sigue siendo manual y lenta.