Новый метод CompreSSM ускоряет обучение моделей ИИ и снижает их сложность

Исследователи из MIT и других институтов разработали метод, позволяющий сокращать сложности моделей ИИ в процессе обучения, снижая вычислительные затраты, не ухудшая при этом производительность.

Обучение крупных моделей искусственного интеллекта традиционно требует значительных затрат времени и ресурсов. Обычно для создания более компактных и быстрых моделей сначала обучают большие, а затем их упрощают, или же начинают с маленьких, что приводит к падению производительности. Группа исследователей создала метод CompreSSM, который устраняет эту дилемму, сжимая модели непосредственно в процессе обучения. Используя математические методы из теории управления, команда смогла выявлять важные и ненужные компоненты моделей. Результаты показали, что сжимаемые модели сохраняют почти такую же точность, как их полные версии, при этом обучаясь в 1,5 раза быстрее.