Majestic Labs desarrolla Prometheus, un servidor de IA con hasta 128 TB de memoria DRAM unificada y hasta 25,6 TB/s de ancho de banda para intentar superar la limitación de lectura de memoria que frena la generación de tokens en grandes modelos de lenguaje.
Majestic Labs anuncia Prometheus, un servidor de inteligencia artificial diseñado para integrar hasta 128 TB de memoria con el objetivo de mitigar la llamada "memory wall": la restricción por la que la velocidad de lectura desde memoria limita la generación de tokens en modelos de lenguaje grande (LLM). Ese volumen de memoria es más de 60 veces el de un rack avanzado como el DGX B300 de NVIDIA, y la compañía plantea que, si la arquitectura funciona a escala operativa, permitirá ejecutar modelos más grandes por nodo en lugar de recurrir a una mayor fragmentación horizontal del modelo.
El diseño de Prometheus se centra en DRAM LPDDR6 configurada como una memoria unificada. Majestic ha desarrollado una interfaz propietaria que usa microcables de cobre efectivos hasta un metro y chips de agregación montados junto a los módulos DRAM para coordinar grandes bancos de memoria. La compañía afirma que esta disposición alcanza un ancho de banda de hasta 25,6 terabytes por segundo, buscando cerrar la brecha entre capacidad y velocidad de acceso.
En la capa de cómputo, el servidor integra 12 chips Ignite que combinan núcleos ARM de nivel datacenter con núcleos vectoriales y tensor basados en RISC‑V en un mismo die y con espacio de memoria compartido. Según Majestic, los núcleos ARM actúan como host en chip y los RISC‑V se encargan del procesamiento de LLM; la plataforma declarada es compatible con PyTorch, vLLM y OpenAI Triton sin exigir modificaciones en el código existente.
Majestic plantea su aproximación como alternativa al modelo dominante de GPU con HBM complementada por DRAM más lenta. Sha Rabii, cofundador y presidente de Majestic Labs, reconoce el éxito de NVIDIA en el escalado pero sostiene que ese enfoque acaba sobredimensionando el cómputo y provocando escasez de memoria, un problema que Prometheus busca abordar directamente mediante mayor capacidad y ancho de banda memory‑centric.
El formato físico sigue el estándar Open Compute Project (21 × 36 pulgadas) y permite instalar hasta cuatro servidores por rack. Majestic estima un consumo por rack de hasta 120 kW y emplea refrigeración por placa fría; la memoria es modular y puede ampliarse después de la compra. Estas características implican requisitos de potencia y de infraestructura que condicionarán su adopción en centros de datos.
Quedan dudas abiertas: Majestic no ha publicado métricas concretas de rendimiento de cómputo, por lo que la mejora práctica en latencia y rendimiento de inferencia frente a soluciones basadas en GPU aún no puede verificarse. Además, el elevado consumo energético y la necesidad de refrigeración líquida o por placa fría son factores operativos que los operadores de centros de datos deberán evaluar antes de desplegar la plataforma.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
