AWS описала инфраструктурные «строительные блоки» для обучения и инференса foundation‑моделей

11 мая 2026 года авторы Keita Watanabe, Pavel Belevich и Aman Shanbhag опубликовали технический пост, адресованный ML‑инженерам и исследователям, в котором систематизировали «строительные блоки» жизненного цикла foundation‑моделей — предобучение, пост‑обучение и инференс. Пост ставит задачу дать практическую основу для выявления системных узких мест и особенностей масштабирования, чтобы команды могли целенаправленно оптимизировать архитектуру и эксплуатацию кластеров. Это руководство прежде всего важно для инженеров и инфраструктурных команд, которые проектируют кластеры и балансируют затраты против эффективности использования ускорителей.

Авторы отмечают, что классическая идея единого закона масштабирования (Kaplan et al., 2020) уже не охватывает все практические сценарии: производительность зависит от нескольких факторов и разных режимов работы. Помимо предобучения значимую роль играют этапы пост‑обучения — supervised fine‑tuning и методы на основе обучения с подкреплением — а также тестовое и продуктивное вычисление: search/verification, «long thinking» и многосэмплинг. В посте приводится ссылка на фрейм от NVIDIA, обозначаемый как from one to three scaling laws, чтобы подчеркнуть многомерность роста производительности в зависимости от рабочего процесса.

Для практической реализации жизненного цикла авторы выделяют три базовых инфраструктурных блока, которые рассматриваются как тесно связанные и обязательные для крупных распределённых тренировок и требовательного инференса. Первый — ускоренная вычислительная инфраструктура с большим объёмом памяти на устройстве; второй — широкополосная межсоединительная сеть с низкой задержкой для коллективных коммуникаций; третий — масштабируемое распределённое хранилище для данных и контрольных точек. Авторы подчёркивают, что нехватка одного из этих элементов быстро превращается в узкое место при увеличении масштаба.

Пост также связывает аппаратные блоки с экосистемой открытого ПО и инструментами оркестрации: управление ресурсами в кластере обычно обеспечивают Slurm или Kubernetes, для распределённого обучения и разработки моделей используются фреймворки PyTorch и JAX, а сбор метрик и наблюдаемость реализуют с помощью Prometheus и визуализации/оповещений через Grafana. Наблюдаемость позиционируется как сквозной слой, необходимый для диагностики производительности, выявления деградаций и поддержания здоровья кластера. Авторы сообщают, что последующие части серии подробно разберут реализацию этой многослойной архитектуры на AWS: инфраструктуру, оркестрацию ресурсов, ML‑стек и инструменты наблюдаемости. Особое внимание будет уделено взаимодействию многонодовых ускорителей, высокопроизводительных сетей, распределённого шаред‑хранилища и управляемых сервисов AWS в контексте рабочих процессов, основанных на OSS.