Как отслеживать FLOPs при дообучении LLM на SageMaker AI для соответствия Закону ЕС об ИИ

В руководстве по SageMaker AI описано практическое встраивание открытого инструмента Fine‑Tuning FLOPs Meter для измерения вычислительных операций (FLOPs) при дообучении больших языковых моделей. Это важно: корректный учёт FLOPs позволяет организациям понять, попадают ли их дообучения под требования Закона ЕС об ИИ, который вступил в силу 2 августа 2025 года, и заранее подготовиться к возможным юридическим обязательствам.

Технически решение использует SageMaker Training jobs для запуска дообучения на полностью управляемой инфраструктуре с автоматическим выделением и освобождением ресурсов, поддержкой распределённого обучения и встроенной интеграцией с системами аудита и мониторинга. В примере показано, как Fine‑Tuning FLOPs Meter добавляет логику подсчёта FLOPs, экспортирует данные для последующего аудита и работает в связке с Amazon CloudTrail и Amazon CloudWatch, чтобы генерация отчётов была «audit‑ready».

Руководство прямо привязывает измерение FLOPs к требованию закона: ключевая метрика — суммарные плавающие‑точечные операции во время дообучения. Закон реализует «правило одной трети»: порог существенной переработки составляет 30% от объёма предобучения, если базовое число FLOPs известно. При неизвестном значении предобучения применяется дефолтный порог 3.3×10^22 FLOPs. Для системных рисков, когда предобучение оценивается как ≥10^25 FLOPs, действует повышенный порог 3.3×10^24 FLOPs (или 30% от известного значения, если оно доступно).

Инструмент автоматически выбирает применимый сценарий по переменной окружения PRETRAIN_FLOPS: при переданном значении применяется относительный порог или проверка на системный риск; при отсутствии — используется дефолтный порог. Такой decision flow устраняет ручные вычисления и необходимость детально документировать каждую экспериментальную пробу, позволяя быстро оценить, какой порог применим для текущего дообучения. Практическое значение для разработчиков и организаций заключается в том, что превышение применимого порога переводит их из статуса «пользователь» в статус поставщика GPAI и налагает ряд обязанностей: раскрытие архитектуры и процесса тренировки, публикацию использованных источников данных и демонстрацию соответствия требованиям, включая вопросы авторского права. В руководстве приводится пример: модель Llama‑3‑70B с оценочным минимумом предобучения 1.5×10^24 FLOPs даёт порог 4.5×10^23 FLOPs.

Интеграция с SageMaker и генерация отчётов под аудит упрощают отслеживание статуса на стадиях эксперимента и продакшена.