Mallika Rao advierte sobre la "deuda de evaluación" en sistemas de IA en producción

En QCon IA, Mallika Rao afirmó que fallos en los marcos de evaluación, más que en los modelos, crean riesgos ocultos para productos de IA; propuso una pila de evaluación de cinco capas y un modelo de madurez diagnóstico para validar sistemas desplegados.

Mallika Rao presentó en QCon IA la charla 'Building Evals for IA Adoption: From Principles to Practice', donde advirtió que la llamada "deuda de evaluación" —defectos en los marcos y prácticas de evaluación — puede introducir riesgos silenciosos en sistemas de IA ya desplegados. El problema importa porque esos fallos no solo distorsionan métricas, sino que pueden propagarse a pipelines productivos y erosionar la confianza de usuarios y operadores.

Rao explicó que las métricas tradicionales no cubren las arquitecturas modernas y describió una pila de evaluación de cinco capas que va desde la infraestructura hasta la experiencia de usuario. Además presentó un modelo de madurez diagnóstico diseñado para equipos de ingeniería que deben validar comportamientos complejos en producción, con el objetivo de identificar lagunas de evaluación que pasan desapercibidas en entornos reales.

La presentación se apoyó en la experiencia previa de Rao en Twitter, Walmart y Netflix. En Twitter lideró infraestructura de búsqueda que manejaba billones de documentos con presupuestos de latencia por debajo de 50 ms; en Walmart trabajó en modelos de recompensas; y en Netflix participó en sistemas de contenido que procesan miles de millones de decisiones de personalización al día y escalan a más de mil millones de usuarios.

Rao subrayó que los problemas de evaluación tienden a acumularse de forma invisible hasta que provocan fallos operativos o pérdidas de confianza, y defendió un enfoque práctico para detectarlos y corregirlos antes de que afecten a producción. Su propuesta busca ayudar a líderes de ingeniería a reducir fallos semánticos silenciosos y mejorar la resiliencia, la transparencia y la excelencia operativa de productos de IA.