AI‑агенты SPECTRA почти полностью срежиссировали клип «LOWKEY»

Alibaba Cloud MVP Shun Fujiyoshi описал эксперимент, в котором пятичленная персонифицированная группа AI‑агентов SPECTRA контролировала творческий пайплайн клипа «LOWKEY»:

Shun Fujiyoshi (Alibaba Cloud MVP) представил кейс создания музыкального видеоклипа SPECTRA «LOWKEY», где пять персонализированных AI‑агентов выступили не только как исполнители, но и как основная творческая команда: агенты выбирали кадры, управляли темпом и переходами и фактически довели клип до почти полностью готового состояния при минимальном человеческом вмешательстве. Это демонстрирует, что агентные пайплайны могут взять на себя ключевые режиссёрские решения и сократить объём ручного монтажа в экспериментальных проектах.

В проекте агенты отвечали за большинство творческих этапов: генерацию вокала и текстов, разработку сториборда, подбор и вариации кадров, многократную доработку промптов и окончательную селекцию версий. При этом не использовался традиционный редактор нелинейного монтажа (NLE) для ручной сборки — команда настраивала систему, задавала ограничения и ретейки при необходимости, а дальнейшую работу выполняли агенты и автоматизированные шаги пайплайна.

Технически пайплайн опирался на два ключевых инструмента. Видео генерировалось с помощью Wan 2.7 с применением механизма «reference frame chaining» для сохранения визуальной согласованности между кадрами. Для редактирования и композитинга использовали HappyHorse, который в этом проекте работал в агент‑управляемом режиме: сегменты создавались в привязке к музыкальным чанкам (audio‑driven generation), агенты через промпты контролировали свет и настроение, а также определяли порядок и места переходов между сценами. Человеческая роль в этих шагах сводилась к верификации качества и указанию на перегенерацию при несоответствии.

Координацию творческого видения выполнял агент‑режиссёр SOL (Soul Enhancement Engine, S.E.E.). SOL переводил эмоциональную концепцию SPECTRA в практические инструкции для сториборда, хореографии, костюмов и промптов для генераторов, курировал контроль качества и принимал финальные монтажные решения, фактически выступая в роли AI‑креативного директора проекта. Авторы подчёркивают, что текущая реализация далека от промышленной зрелости: пайплайн собран из ад‑хок компонентов, коммуникация между системами нестандартизирована, а логика распределена по этапам. Следующий шаг — рефакторинг в сторону «production OS»: единый манифест для описания артефактов, инструменты CLI для аудита и валидации и устойчивая инфраструктура перед масштабированием генеративных приёмов. Результат эксперимента доступен для просмотра по ссылке: https: //youtu.