EAGLE 3.1, anunciado el 26 de mayo de 2026 por los equipos EAGLE junto a vLLM y TorchSpec, corrige una fragilidad conocida como "deriva de atención" que hacía que el drafter — el modelo candidato rápido usado en decodificación especulativa — dejara de atender al contexto original a medida que aumentaba la profundidad de especulación. La corrección busca estabilizar la aceptación de tokens y reducir las caídas a fallback durante la inferencia.
Los autores atribuyen la deriva a dos causas técnicas: un desequilibrio en la representación fusionada, donde los estados ocultos de capas superiores llegan a dominar la entrada del drafter, y un aumento de magnitud de los estados ocultos causado por una ruta residual sin normalizar. Para abordarlo, EAGLE 3. escala de los vectores ocultos.
La serie EAGLE (versiones 1–3) ya tenía amplia adopción en investigación y entornos productivos para acelerar la inferencia mediante decodificación especulativa; esta versión se presenta como un ajuste de fiabilidad más que un rediseño funcional. Según los desarrolladores, EAGLE 3.1 mejora la extrapolación entre las condiciones de entrenamiento y las de inferencia y reduce la sensibilidad del sistema a plantillas de chat, prompts del sistema y entradas fuera de distribución.
En términos operativos, los responsables reportan hasta un aumento de 2× en la longitud de aceptación en cargas de contexto largo respecto a EAGLE 3, además de una aceptación de tokens más estable y mayor resiliencia ante variaciones de prompt. En la práctica, esas mejoras pueden traducirse en menos interrupciones por fallback y en inferencias más rápidas y fiables en entornos productivos que usan decodificación especulativa.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
