Новый изучаемый кодек изображений снижает битрейт в 2.3–3× при быстрой работе на iPhone 17 Pro Max

В мае 2026 опубликована статья «What Matters in Practical Learned Image Compression», в которой авторы проводят комплексное исследование архитектурных и обучающих решений для изучаемого (learned) кодека, совместно оптимизированного по перцептивному качеству и

Исследователи представили практический изучаемый кодек изображений, который одновременно улучшает перцептуальное качество сжатия и ускоряет выполнение на мобильных устройствах. В работе, опубликованной в мае 2026, группа ставит целью сократить разрыв между потенциалом оптимизации под человеческое зрение и ограничениями существующих практических решений; это важно прежде всего для приложений, где критичны и качество изображения, и задержки обработки — например, мобильных фото‑ и соцсервисов. Авторы подробно анализируют ключевые проектные решения для изучаемых кодеков: архитектурные варианты, функции потерь, ориентированные на перцепцию, и сопутствующие приёмы обучения. В статье приведён системный набор абляций и нескольких новых методик, которые позволяют оценить вклад каждой составляющей в итоговый баланс качества и скорости.

Ключевой инженерный шаг исследования — ориентированный на производительность нейроархитектурный поиск (performance‑aware NAS). Команда перебирала миллионы конфигураций backbone, чтобы подобрать архитектуры, которые при заданных целевых показателях времени работы на устройстве максимизируют метрики сжатия, ориентированные на перцепцию. Такой подход позволил одновременно учитывать аппаратные ограничения и перцептивные критерии качества. Комбинация оптимизаций привела к созданию нового кодека с заметно лучшим компромиссом между скоростью и восприятием качества. По результатам строгих субъективных пользовательских исследований, предложенный кодек обеспечивает экономию битрейта в диапазоне 2.3–3× по сравнению с набором инженерных кодеков (AV1, AV2, VVC, ECM и JPEG‑AI) и даёт дополнительно 20 — 40% экономии по сравнению с лучшими известными изучаемыми альтернативами.

Исследователи также проверили производительность на реальном устройстве: для изображений 12MP их кодек кодирует на iPhone 17 Pro Max примерно за 230 мс и декодирует за около 150 мс. Авторы отмечают, что это быстрее, чем большинство ведущих ML‑кодеков, запущенных на GPU V100, подчёркивая целенаправленную оптимизацию под ограничения мобильного оборудования. Статья подписана Kedar Tatwawadi, Parisa Rahimzadeh, Zhanghao Sun, Zhiqi Chen, Ziyun Yang, Sanjay Nair, Divija Hasteer и Oren Rippel и представлена в тематике компьютерного зрения в рамках конференции CVPR. На странице работы доступен исходный код на GitHub и ссылки на смежные исследования по сжатию видео и генерации движений головы; на странице также приведены детали субъективных тестов и численные сравнения, подтверждающие приведённые результаты.