Violin — открытый конвейер для автоматического перевода видео запущен

Violin — полностью открытый конвейер видео‑перевода, который объединяет автоматическую расшифровку (ASR), перевод на базе LLM и синтез речи (TTS).

14 мая 2026 года представлен Violin — открытый инструмент для автоматизированного перевода видео, который объединяет ASR, LLM‑переводы и TTS в одном конвейере, чтобы упростить масштабную локализацию видеоконтента. Это важно для авторов и разработчиков: Violin призван помочь распространять видео на новые языки и делать контент доступным для более широкой аудитории. Пайплайн Violin состоит из трёх основных этапов. Сначала аудио расшифровывается в timestamped‑текст при помощи Whisper V3 (large endpoint). Затем транскрипт переводится через Deepseek V4 Pro, выбранный в качестве дефолтного LLM‑переводчика; система поддерживает предопределённые списки правил перевода для сохранения верности терминологии и стиля. Наконец, готовый перевод озвучивается через Cartesia’s Sonic 3, где пользователь задаёт желаемые голосовые характеристики на естественном языке.

Интерактивная составляющая включает видео‑чат‑ассистента, который отвечает на вопросы, опираясь на аудио и визуальный контекст. Violin анализирует последние кадры видео вместе с субтитрами и отправляет их в vision‑language модель (пример: Qwen3.5‑397B‑A17B) для свободных ответов, а timestamped‑транскрипты используются для привязки ответов к конкретным моментам ролика.

Платформа ориентирована на практическое использование: доступен веб‑интерфейс, командная строка и агент‑скиллы; код открыт в репозитории и допускает интеграцию в существующие пайплайны. Проект работает в Together‑хостинге и обеспечивает гибкость выбора моделей на каждом этапе ASR/LLM/TTS для оптимизации качества и затрат. Violin поддерживает персонализацию голоса, но голосовое клонирование отключено; по умолчанию новый синтез накладывается на оригинал с низкой громкостью, что снижает риски прав и этики.

Авторы проекта — Shang Zhu, Kevin Qinghong Lin (Oxford) и James Zou-продемонстрировали инструмент на техническом докладе из серии Together Talks, показав, что перевод сохраняет смысл и остаётся интерактивным для зрителя. Рыночные данные указывают на сильную доминацию англоязычного видеоконтента — 66% роликов у 250 крупнейших каналов на английском, испанский занимает второе место с 15% — что оставляет значительную часть аудитории без доступа. Violin позиционируется как масштабируемое решение для синхронизации субтитров, корпоративной локализации и расширения охвата аудитории.