ZAYA1-8B es un modelo Mixture of Experts (MoE) que combina 8.4B parámetros totales con solo 760M activos por pase. Zyphra lo ha publicado bajo licencia Apache 2.0 y lo ofrece en Hugging Face, además de un endpoint serverless en Zyphra Cloud. La arquitectura de baja activación permite reducir el consumo de inferencia y ofrece opciones de despliegue más flexibles, incluido el posible uso on-device en determinados escenarios.
El entrenamiento se completó de extremo a extremo sobre hardware AMD Instinct MI300 y adopta la arquitectura MoE++ de Zyphra, que integra tres innovaciones principales. Primero, Compressed Convolutional Attention (CCA) consigue una compresión 8× del KV-cache. Segundo, un router MLP con un sesgo tipo PID mejora el balance de carga entre los expertos. Tercero, la metodología de cómputo en test llamada Markovian RSA optimiza el comportamiento durante la inferencia.
En pruebas de razonamiento matemático y programación, Zyphra reporta que ZAYA1-8B rinde por encima de varios modelos de mayor tamaño de peso abierto. Usando Markovian RSA, ZAYA1-8B obtuvo 89.6 en HMMT'25 frente a 88.3 de Claude 4.5 Sonnet y supera también a GPT-5-High en esa prueba. Además, la compañía señala que el modelo se sitúa competitivo frente a sistemas como DeepSeek — V3.2, DeepSeek — R1-0528 y Gemini-2.5 — Pro en tareas de razonamiento.
La combinación de activación reducida de parámetros, compresión del KV-cache y enrutamiento más estable reduce los requisitos de memoria y la latencia, lo que facilita contextos más largos y despliegues eficientes en infraestructuras limitadas. La publicación bajo Apache 2.0 y la disponibilidad pública y como endpoint serverless pueden acelerar la adopción en pruebas, desarrollo y aplicaciones locales que busquen alto rendimiento por FLOP.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
