NVIDIA presenta X-Token, método de destilación entre tokenizadores que mejora GSM8k en Llama‑3.2‑1B

NVIDIA introdujo X‑Token, un método de distilación de conocimiento entre tokenizadores que, según el informe, eleva la precisión en GSM8k hasta 15.54 y supera a GOLD en 3.82 puntos en Llama‑3.2‑1B. X‑Token opera sobre distribuciones de logits y está diseñado como un reemplazo directo de la pérdida KD estándar, lo que facilita usar maestros con vocabularios distintos sin modificar la arquitectura del estudiante.

Esto permite transferir conocimiento entre modelos que emplean tokenizadores incompatibles, mejorando a su vez el rendimiento de modelos pequeños atados a un tokenizador concreto. Los autores identifican dos limitaciones clave de GOLD que X‑Token aborda. Primero, el “uncommon‑token failure”: cuando tokenizadores fragmentan un mismo texto de forma diferente — por ejemplo, Llama‑3 empaqueta números multi‑dígito como "201" mientras Qwen3 los divide en "2","0","1"— lo que impide la correspondencia token a token. Segundo, la coincidencia por igualdad de cadena resulta demasiado estricta. En sus experimentos, GOLD con Qwen3‑4B como teacher reduce la exactitud en GSM8k a 2.

en contraste, una KD que comparte tokenizador desde Llama‑3.2‑3B alcanza 12.89, mostrando la sensibilidad de las métricas a la compatibilidad del vocabulario. X‑Token corrige ambos fallos mediante una proyección guiada que trabaja con las distribuciones de logits en lugar de exigir alineaciones de spans o igualdad de tokens. Según el reporte, al aplicarlo en Llama‑3.2‑1B se logra una puntuación GSM8k de 15.54, superando a GOLD por 3.82 puntos en promedio en ese modelo. El método no incorpora componentes entrenables adicionales ni requiere ajustes estructurales, lo que simplifica su adopción en pipelines existentes.