AudioHijack заставляет голосовые LALM выполнять скрытые команды с успешностью 79 — 96%

Исследователи представили AudioHijack — метод, которым модифицированные аудиосигналы, незаметные для человеческого слуха, принуждают крупные голосовые аудио‑языковые модели (LALM) выполнять скрытые команды с успешностью в экспериментах от 79 до 96%. Это важно потому, что атаки выходят за пределы простой транскрипции и могут запускать реальные операции в системах, подключённых к веб‑сервисам и почтовым отправкам. Техника заключается в встраивании оптимизированного «аудиопаразита» в обычный звук: при воспроизведении человек не замечает изменений, но модель реагирует на встроенный паттерн и выполняет требуемые действия. Сигнал описывают как «контекст‑агностичный»: однажды натренированный клип сохраняет эффект независимо от сопутствующих инструкций, и его можно повторно применять против той же целевой модели.

В испытаниях метод протестировали против 13 ведущих открытых моделей и коммерческих голосовых сервисов, включая продукты Microsoft и Mistral. Модели под влиянием атак выполняли чувствительные операции — делали веб‑поиски, загружали файлы с управляющих серверов и отправляли электронные письма с данными пользователей — то есть совершали действия, выходящие за рамки распознавания речи и классификации. Технически авторы используют классический подход создания адверсариальных примеров: численные значения волновой формы итеративно корректируют алгоритмом оптимизации, оценивая влияние каждой правки на поведение модели и донастраивая сигнал до достижения нужного эффекта. При этом токенизация аудио в генеративных моделях усложняет задачу: звук дробится на токены, и более грубая дискретизация затрудняет прогнозирование, приближают ли изменения к желаемому результату.

«Достаточно получаса, чтобы натренировать этот сигнал, и потом, поскольку он контекст‑агностичен, вы можете использовать его для атаки целевой модели когда угодно, независимо от того, что говорит пользователь». Результаты будут обсуждаться на предстоящем заседании IEEE Symposium on Security and Privacy в Сан‑Франциско.