Китайцы представили AntAngelMed — открытую медицинскую LLM с MoE‑архитектурой и поддержкой до 128K токенов

12 мая 2026 группа исследователей опубликовала AntAngelMed — открытую медицинскую языковую модель с Mixture‑of‑Experts, 103 млрд общей ёмкости и ~6,1 млрд активных параметров; модель доступна в ModelScope под MedAIBase/AntAngelMed.

12 мая 2026 команда исследователей из Китая опубликовала AntAngelMed — открытую языковую модель, ориентированную на клинические и медицинские задачи, которую авторы позиционируют как масштабируемую и быструю платформу для работы с длинными клиническими документами. Модель размещена в репозитории ModelScope под идентификатором MedAIBase/AntAngelMed; доступность кода и описания архитектуры, пайплайна обучения и режимов инференса подчёркивает намерение команды упростить воспроизводимость и практическое применение.

Технически AntAngelMed реализована по схеме Mixture‑of‑Experts (MoE): суммарная ёмкость сети составляет 103 миллиарда параметров, но при обработке запроса активируется только 1/32 параметров — примерно 6,1 миллиарда. В качестве исходного чекпоинта использован Ling‑flash‑2.0; модель дополнена настройками уровня экспертов, скорректированным коэффициентом распространения нагрузки между экспертами, балансом внимания, сигмоидной маршрутизацией без вспомогательной функции потерь, слоем MTP, QK‑Norm и частичным применением RoPE.

По оценкам авторов, набор этих оптимизаций позволяет модели с малым числом активных параметров конкурировать с более крупными плотными моделями: AntAngelMed с ~6,1 млрд активных параметров сопоставима примерно с 40‑миллиардной dense‑моделью и показывает до 7× выигрыш по эффективности по сравнению с плотными архитектурами сопоставимого масштаба. Авторы отмечают, что относительное преимущество по скорости увеличивается вместе с ростом длины выходной последовательности. Пайплайн обучения состоит из трёх этапов. Сначала — непрерывное предобучение на больших медицинских корпусах (энциклопедии, веб‑тексты, академические публикации) поверх чекпоинта Ling‑flash‑2.0. Затем — Supervised Fine‑Tuning на мульти‑источниковом инструкционном датасете, включающем общие задачи рассуждения и медицинские сценарии (вопрос‑ответ пациент‑врач, диагностическое рассуждение, кейсы по безопасности и этике).

Финальная фаза — обучение с подкреплением (GRPO) с использованием специализированных reward‑моделей для формирования эмпатичного, структурированного, безопасного и обоснованного поведения модели. В инференсе на H20‑оборудовании AntAngelMed демонстрирует более 200 токенов в секунду, что авторы оценивают как примерно 3× быстрее по сравнению с 36‑миллиардной плотной моделью. С помощью механизма экстраполяции YaRN модель поддерживает контекст до 128K токенов, пригодный для полных клинических документов и развернутых историй болезни. В нефлагманских тестах AntAngelMed показывает прибавки производительности: +71% на HumanEval, +45% на GSM8K и +94% на Math‑500, причём авторы указывают, что эти бенчмарки служат прокси для общей способности модели, а не прямой оценкой медицинской точности.