Дистилляция больших языковых моделей — перенос знаний от «учителя» к «студенту» через выводы

Компании активно используют дистилляцию больших языковых моделей (LLM), чтобы тренировать более компактные и эффективные модели: например, Meta применяла Llama 4 Behemoth при создании Llama 4 Scout и Maverick, Google — свои Gemini‑модели при разработке Gemma 2 и Gemma 3, а DeepSeek переносила способности рассуждения из DeepSeek‑R1 в компактные Qwen и Llama‑варианты (включая упоминания Llama 3.1). Такой подход даёт возможность получить модели с высокими способностями при меньших вычислительных затратах и задержках, что важно для их практического развёртывания.

В основе дистилляции лежат разные виды сигналов от «учителя» к «студенту»: отдельные ответы, распределения вероятностей по словарю, траектории рассуждений или наблюдаемое поведение модели. Выбор сигнала определяет и требования к доступу — например, нужны ли внутренние логиты учителя — и влияет на стоимость обучения и хранения данных. Soft‑label дистилляция заставляет студента воспроизводить не просто правильный токен, а полное распределение вероятностей учителя (softmax по всему словарю). Этот «тёмный знаниевый» сигнал фиксирует взаимосвязи и неопределённость между токенами и делает обучение более стабильным и информативным, но требует доступа к логитам/весам учителя и огромных объёмов хранения при словарях в 100k+ токенов, что становится дорого при триллионных датасетах.

Hard‑label дистилляция проще по оборудованию: учитель генерирует итоговые ответы, которые служат синтетической разметкой для ученика. Этот метод экономичнее по ресурсам и совместим с «чёрными ящиками» — например, публичными API вроде GPT‑4, где внутренняя статистика модели недоступна. На практике DeepSeek демонстрирует, что такой подход применяют для переноса навыков рассуждения в более компактные Qwen и Llama‑модели.

Co‑distillation предполагает совместное обучение нескольких моделей, которые обмениваются предсказаниями и поведением в процессе тренировки: вместо единой пары «учитель→студент» создаётся коллективный механизм обмена сигналами, что помогает формировать согласованные представления без наличия одного гигантского учителя. Для разработчиков это значит, что дистилляция предоставляет путь к моделям с лучшими возможностями при меньших задержках и стоимости развёртывания, но выбор метода зависит от доступности внутренних данных учителя, бюджета на хранение и обучение, а также ограничений лицензий и API. Вкратце: soft‑label даёт более богатый сигнал при больших издержках хранения и доступа; hard‑label работает с публичными API и дешевле; co‑distillation полезна при одновременном обучении нескольких систем.