En QCon IA, Justin Reock (Deputy CTO de DX) sostuvo que cerca del 95% de los pilotos de GenAI fracasan y urgió a usar métricas reproducibles — como SPACE, Core 4 y DORA-para convertir experimentos en mejoras reales en ingeniería.
Justin Reock, Deputy CTO de DX, advirtió en QCon IA que alrededor del 95% de los pilotos de IA generativa fracasan, un fenómeno que él denomina 'GenAI Divide'. Argumentó que ese alto porcentaje hace indispensable pasar de relatos anécdoticos a mediciones rigurosas para evaluar el impacto real de la IA en equipos de ingeniería.
La presentación se apoyó en investigación académica y en los datos y metodologías que DX ha integrado en su plataforma de inteligencia de ingeniería. Reock propuso emplear marcos medibles — como SPACE y Core 4, junto con métricas DORA-para cuantificar retorno de inversión y resultados operativos, en lugar de confiar en impresiones subjetivas.
Además de los marcos, planteó prácticas concretas para mejorar las probabilidades de éxito: equilibrar velocidad y calidad, reducir el temor entre desarrolladores y desplegar soluciones agenticas a lo largo del ciclo de vida del software. Según Reock, la instrumentación continua y la gobernanza son claves para transformar pilotos aislados en mejoras reproducibles.
Reock puso los hallazgos en contexto señalando discrepancias entre estudios públicos: Google reporta aproximadamente un 10% de aumento de productividad con IA, mientras que el METR Study mostró una caída del 19% en un experimento que, según él, adolecía de limitaciones metodológicas (muestra reducida y participantes sin experiencia con herramientas como Cursor). Usó esas diferencias para subrayar la necesidad de mediciones rigurosas y comparables.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
