Учебник показывает, как сжимать инструкционно‑настроенные LLM через llmcompressor: FP8, GPTQ и SmoothQuant

Опубликован пошаговый туториал по посттренировочному квантованию инструкционно‑настроенных LLM с использованием llmcompressor: от исходной FP16‑модели до динамического FP8, GPTQ W4A16 и комбинации SmoothQuant + GPTQ W8A8.

Опубликован практический учебник, который демонстрирует применение посттренировочного квантования к инструкционно‑настроенным языковым моделям с помощью инструментария llmcompressor и сопровождающих пакетов. Авторы берут за базу FP16‑модель и поэтапно применяют разные схемы сжатия, предоставляя ноутбук и воспроизводимый код; в примерах в качестве MODEL_ID указан "Qwen/Qwen2.5-0.5B-Instruct". материал даёт конкретные измерения воздействия разных рецептов на диск, латентность и пропускную способность.

В ноутбуке перечислены требуемые pip‑пакеты (включая llmcompressor, compressed — tensors, transformers>=4.45, accelerate, datasets) и используется PyTorch на GPU. В коде есть утилиты для измерения размера каталога с артефактами, функция time_generation для оценки задержки и токен/сек, а также wikitext_ppl для быстрой оценки perplexity; подготовлен калибровочный набор и сохраняются артефакты сжатых моделей для дальнейшего сравнения.

Урок сопоставляет несколько подходов: динамическая FP8‑квантизация, GPTQ W4A16 с низкоразрядными весами и комбинацию SmoothQuant с GPTQ W8A8. Авторы фокусируются на практических метриках (размер на диске, задержка генерации, пропускная способность и качество вывода), показывая очевидные компромиссы между эффективностью и качеством при подготовке моделей к продакшен‑развёртыванию. Практическая ценность туториала — воспроизводимые метрики и набор инструментов, которые помогают выбрать подходящее сжатие под конкретные требования развёртывания: уменьшить дисковый отпечаток модели, понять влияние на латентность и оценить воспринимаемое качество вывода. Код и сохранённые артефакты упрощают интеграцию результатов в GPU‑пайплайны вывода и позволяют повторно воспроизвести эксперименты.