Un equipo de investigación de Apple Machine Learning ha propuesto LaDiR (Latent Diffusion Reasoner), un novedoso sistema diseñado para potenciar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM). La investigación aborda las limitaciones inherentes a la generación autorregresiva de los LLM, donde la toma de decisiones token a token puede obstaculizar la reflexión y la mejora integral de la salida. El marco LaDiR integra la potencia de las representaciones latentes continuas con los mecanismos de refinamiento iterativo característicos de los modelos de difusión latente. En su esencia, el sistema primero construye un espacio de razonamiento latente estructurado.
Este espacio emplea un Autoencoder Variacional (VAE) para codificar los pasos de razonamiento del texto en unidades discretas denominadas 'bloques de pensamiento' (thought tokens), preservando la semántica y la interpretabilidad. Una vez codificados, estos bloques de pensamiento latentes se someten a un proceso de difusión latente. Un modelo de difusión latente aprende a 'eliminar ruido' (denoising) de estos bloques de tokens latentes, utilizando una máscara de atención bidireccional a nivel de bloque. Este diseño facilita un horizonte de generación más amplio y un refinamiento iterativo, donde el cómputo se adapta durante la inferencia, optimizando el rendimiento. La arquitectura de LaDiR permite la generación paralela de múltiples trayectorias de razonamiento distintas. Esta capacidad permite a los LLM planificar y revisar su proceso de razonamiento de forma más efectiva e integral.
La flexibilidad para explorar diversas rutas de pensamiento sin el compromiso inmediato de la generación autorregresiva es un diferenciador clave. Las evaluaciones empíricas de LaDiR se llevaron a cabo en un conjunto de puntos de referencia de razonamiento matemático y planificación. Los resultados demuestran una mejora consistente en la precisión, la diversidad y la interpretabilidad de las respuestas generadas en comparación con métodos autorregresivos existentes, enfoques basados en difusión y otras técnicas de razonamiento latente. Este avance representa un nuevo paradigma para el razonamiento textual al aprovechar la naturaleza iterativa y de refinamiento de la difusión latente. La capacidad de explorar y pulir representaciones de pensamiento en un espacio latente continuo ofrece un camino prometedor para LLMs más robustos y versátiles.
La investigación fue presentada en la conferencia ICLR (International Conference on Learning Representations) en abril de 2026, específicamente en el área de Procesamiento del Habla y Lenguaje Natural. El documento 'LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning' destaca la contribución de Haoqiang Kang, Yizhe Zhang y otros investigadores de Apple. Latent Lookahead Training for Transformers', presentada en un workshop de ICLR en marzo de 2026, que explora cómo permitir a los modelos considerar continuaciones futuras antes de comprometerse con una secuencia específica, y trabajos previos sobre modelos de lenguaje de difusión latente para la generación de párrafos.
La publicación subraya el interés continuo de Apple en la investigación de vanguardia en IA y aprendizaje automático. La empresa busca activamente oportunidades para innovar en el campo y recluta talentos para sus equipos de investigación en aprendizaje automático, como se evidencia en sus comunicaciones sobre oportunidades laborales.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
