HeadsUp ускоряет масштабную 3D‑реконструкцию голов из многокамерных съёмок

В статье мая 2026 года представлена HeadsUp — feed‑forward сеть, которая кодирует множество высокоразрешённых видов в компактное латентное представление и декодирует его в UV‑параметризованные 3D‑гауссовые примитивы, привязанные к нейтральному шаблону головы;

В мае 2026 года авторы представили HeadsUp — масштабируемую feed‑forward систему для реконструкции высококачественных 3D‑голов из многокамерных съёмок. Система позволяет быстро получать согласованные 3D‑репрезентации без дорогостоящей оптимизации на этапе тестирования, что важно для производственных конвейеров и для случаев, когда требуется обработка множества видов в высоком разрешении. Технически HeadsUp построена по схеме энкодер‑декодер: входные изображения кодируются в общее компактное латентное пространство, а декодер формирует набор UV‑параметризованных 3D‑гауссовых примитивов, якорённых к нейтральному шаблону головы. UV‑представление отсоединяет число 3D‑гауссов от числа и разрешения входных изображений, благодаря чему модель пригодна для обучения и вывода при больших размерах входных наборов и высокой детализации.

Авторы отмечают масштабируемость решения по числу личностей, числу видов и емкости модели — подход демонстрируют для сценариев с очень большим числом субъектов (>10,000) и большим количеством высокоразрешённых камер. Практические преимущества связаны с feed‑forward характером метода и отсутствием необходимости в тестовой оптимизации: это упрощает интеграцию в пайплайны, где критична скорость вывода и воспроизводимость результатов. Дополнительно в работе показаны прикладные сценарии: генерация новых 3D‑идентичностей из латентного пространства и анимация реконструированных голов с помощью expression blendshapes.

Авторы также сопоставляют HeadsUp с близкими направлениями исследований: в разделе «Related readings» они ссылаются на DSplats (18 января 2025) по диффузионным моделям для 3D и на предшествующие работы по высокоточной 3D‑реконструкции (3DV, 29 ноября 2021). Подробности реализации, результаты масштабных тестов и экспериментов по масштабированию приведены в самой публикации (май 2026).