WorldReasonBench, creado por investigadores de Tsinghua University, somete a generadores de video a pruebas de plausibilidad física, social, lógica e informacional en lugar de centrarse solo en la estética. El resultado principal es claro: muchos modelos producen imágenes visualmente convincentes pero no razonan correctamente sobre el mundo, lo que limita su fiabilidad en tareas que requieren coherencia causal y física.
El benchmark contiene alrededor de 400 pruebas organizadas en cuatro áreas (world knowledge, escenas centradas en humanos, razonamiento lógico e información basada en datos) y 22 subcategorías. La evaluación se realiza en dos etapas: primero, un método estructurado verifica si la continuación del video alcanza un estado final plausible; después, una segunda pasada puntúa la calidad del razonamiento, la consistencia temporal y la estética. Paralelamente se publicó WorldRewardBench, con cerca de 6,000 comparaciones anotadas para facilitar evaluaciones comparativas.
En la comparativa con 13 modelos, Seedance 2.0 de ByteDance lideró frente a Veo 3.1 y Sora 2. Se evaluaron cinco sistemas comerciales — Sora 2, Kling, Wan 2.6, Seedance 2.0 y Veo 3.1 — Fast—— y seis modelos de código abierto — LTX 2.3, Wan 2.2 — 14B—, UniVideo, HunyuanVideo 1.5, Cosmos — Predict 2.5 y LongCat — Video—. Los modelos comerciales obtuvieron aproximadamente el doble en la métrica central y no hubo solapamiento estadístico entre ambos grupos.
Los fallos observados ilustran por qué la riqueza visual no equivale a entendimiento: escenas con manzanas que suben, fichas que no caen en cascada o máquinas y circuitos que no funcionan muestran incoherencias físicas y causales frecuentes. En conjunto, los resultados indican que aún falta dar el salto de generadores de píxeles a modelos que representen el mundo de forma fiable, y refuerzan la necesidad de métricas de razonamiento antes de confiar estos sistemas en aplicaciones críticas.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
