LightSeek Foundation presentó TokenSpeed, un motor de inferencia LLM de código abierto (licencia MIT) disponible en vista previa, creado para afrontar los retos de las cargas 'agentic' donde los agentes mantienen contextos muy largos y sesiones con decenas de turnos. El anuncio importa porque TokenSpeed está pensado para incrementar la capacidad de atención por GPU y reducir la latencia percibida en escenarios donde las sesiones superan los 50.000 tokens.
La arquitectura de TokenSpeed se organiza en cinco subsistemas complementarios. Incluye una capa de modelado respaldada por un compilador que emplea un enfoque local SPMD; un planificador de alto rendimiento que separa claramente el plano de control de la ejecución; y restricciones de seguridad para la reutilización de las claves — valor (KV). Además dispone de un sistema de kernels en capas para admitir aceleradores heterogéneos y una integración SMG para gestionar la entrada de solicitudes con baja sobrecarga.
El motor permite anotaciones de colocación I/O y genera colectivas automáticamente, facilitando la orquestación entre componentes y dispositivos.
TokenSpeed se lanzó en respuesta a los cuellos de botella de inferencia que afectan a agentes como Claude Code, Codex y Cursor, que operan con contextos que superan 50K tokens y múltiples turnos. El proyecto busca maximizar tokens por minuto (TPM) por GPU mientras mantiene un piso de tokens por segundo (TPS) por usuario — típicamente 70, y en algunos casos 200 o más—, con el objetivo de ofrecer rendimiento comparable a TensorRT‑LLM en escenarios prácticos donde los benchmarks públicos no reflejan la carga real.
Si TokenSpeed cumple sus objetivos, podría aumentar el número de usuarios atendidos por cada GPU y reducir la necesidad de implementar manualmente la comunicación entre procesos, trasladando comprobaciones de recursos KV al tiempo de compilación. No obstante, el proyecto está en vista previa y su rendimiento frente a soluciones comerciales exige validación mediante pruebas públicas antes de extraer conclusiones firmes.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
