La Evaluación de Modelos de IA se Convierte en el Nuevo Cuello de Botella Computacional

La evaluación de modelos de inteligencia artificial ha escalado hasta convertirse en un cuello de botella computacional crítico para la comunidad de IA, eclipsando los costos previamente dominantes del entrenamiento. Ejemplos recientes, como la inversión de aproximadamente 40.000 dólares por parte del Holistic Agent Leaderboard (HAL) para realizar 21.730 ejecuciones de agentes distribuidos en 9 modelos y 9 benchmarks, demuestran la magnitud de este desafío. Incluso una única ejecución de GAIA en un modelo de vanguardia puede costar 2.829 dólares antes de aplicar técnicas de caché, lo que resalta una tendencia preocupante en la industria.

El problema de los costos de evaluación no es enteramente nuevo y se manifestó incluso antes de la proliferación de los agentes. Ya en 2022, cuando Stanford CRFM lanzó HELM, su propia contabilidad reveló costos de API que oscilaban entre 85 dólares para modelos como OpenAI's code-cushman-001 y 10.926 dólares para IA21's J1 — Jumbo (178B). Además, los modelos abiertos requerían entre 540 y 4.200 horas de GPU, con BLOOM (176B) y OPT (175B) en el extremo superior. El costo agregado reportado para los 30 modelos y 42 escenarios de HELM ascendió a aproximadamente 100.000 dólares. Investigaciones de Perlitz et al.

Ante estos crecientes gastos en benchmarks estáticos, la comunidad exploró métodos para optimizar la evaluación. Un hallazgo notable de Perlitz et al. (2024) fue que una reducción de 100 a 200 veces en la computación para HELM podía preservar casi el mismo orden de clasificación de los modelos, con reducciones aún mayores siendo útiles para agrupaciones más generales. Esta observación llevó a la creación de Flash — HELM, una metodología de evaluación de grueso a fino que ejecuta evaluaciones baratas primero y solo invierte alta resolución computacional en los candidatos principales.

Sin embargo, la efectividad de estas técnicas de compresión disminuyó drásticamente con la transición de predicciones estáticas a agentes, donde la evaluación se vuelve inherentemente más compleja y "desordenada". El Holistic Agent Leaderboard (HAL), que ejecuta arneses de agentes estandarizados a través de nueve benchmarks que cubren codificación, navegación web, tareas científicas y servicio al cliente, proporciona una contabilidad pública clara de estos desafíos. Su costo principal ascendió a 40.000 dólares para 21.730 ejecuciones de agentes en 9 modelos y 9 benchmarks. Para abril de 2026, el leaderboard había crecido a 26.597 ejecuciones. Una reproducción independiente realizada por Ndzomga arrojó cifras similares, con 46.

Detrás de estas cifras hay una realidad de precios contundente. Por ejemplo, Claude Opus 4.1 cobra 15 dólares por millón de tokens de entrada y 75 dólares por millón de tokens de salida, mientras que Gemini 2.0 Flash cobra 0.10 dólares por entrada y 0.40 dólares por salida, una diferencia de dos órdenes de magnitud solo en los tokens de entrada. Los benchmarks de agentes rara vez evalúan "el modelo" de forma aislada; en su lugar, evalúan un producto de modelo, andamiaje y presupuesto de tokens. Un análisis de Exgentic encontró una diferencia de costos de 33 veces en tareas idénticas al variar las configuraciones de los agentes, identificando la elección del andamiaje como un impulsor de costos de primer orden.

En este contexto, la evaluación ya no es una fase secundaria, sino una línea de gasto computacional dominante, especialmente para el ciclo de desarrollo de modelos más pequeños. Las ramificaciones de esta escalada de costos amenazan con una desaceleración de la innovación y plantean serios desafíos a la reproducibilidad en el campo, ya que solo aquellos con recursos financieros significativos pueden permitirse las rigurosas y repetitivas evaluaciones necesarias para avanzar en la investigación de agentes. Este panorama financiero está reconfigurando la dinámica del desarrollo de IA, alterando la competencia y la investigación, y haciendo que la optimización de la evaluación sea tan crucial como la optimización del propio entrenamiento.