Amazon SageMaker AI получил функцию оптимизации вывода генеративного ИИ

AWS добавила в Amazon SageMaker AI новую функцию, предлагающую рекомендации по оптимизированному выводу для генеративных ИИ-моделей.

Компания AWS представила новую функцию в Amazon SageMaker AI, которая призвана значительно упростить развертывание генеративных моделей искусственного интеллекта в производственной среде. Это обновление предоставляет разработчикам оптимизированные рекомендации для вывода, что позволяет сократить сложный и трудоемкий процесс перехода моделей из стадии разработки в продакшн, который традиционно мог затягиваться на недели. Новая функция автоматически предлагает проверенные и оптимальные конфигурации развертывания, сопровождаемые подробными метриками производительности.

Основная цель — позволить разработчикам сосредоточиться исключительно на создании высокоточных и эффективных моделей, минимизируя при этом свою вовлеченность в управление и настройку базовой инфраструктуры. Организации активно стремятся внедрять генеративные ИИ-модели для широкого круга задач, включая создание интеллектуальных помощников, инструментов для генерации кода и контента, но до этого момента процесс требовал сложных настроек GPU, специализированных методов оптимизации и ручного бенчмаркинга.

Предложенное AWS решение направлено на кардинальное сокращение длительного цикла развертывания. Благодаря предоставлению готовых к продакшну конфигураций, подтвержденных обширными тестами производительности, новая функция полностью устраняет необходимость в многонедельных ручных испытаниях и экспериментах, которые требовались ранее. Это не только ускоряет вывод моделей, но и помогает избежать дорогостоящего избыточного выделения ресурсов GPU, что в итоге приводит к значительной экономии средств при масштабировании развертываний ИИ-систем. Для формирования этих рекомендаций AWS активно использует NVIDIA AIPerf — ключевой модульный компонент открытого исходного кода NVIDIA Dynamo. Этот инструмент был выбран за его способность предоставлять детальные и последовательные метрики, а также за встроенную поддержку разнообразных рабочих нагрузок, обеспечивая необходимую гибкость для быстрого и итеративного тестирования различных сценариев с минимальной настройкой.

Элиут Tpiaha, менеджер по связям с разработчиками NVIDIA, высоко оценил вклад AWS, отметив, что интеграция модульных компонентов открытого исходного кода NVIDIA Dynamo непосредственно в Amazon SageMaker AI значительно упрощает предприятиям уверенное развертывание генеративных ИИ-моделей. Он подчеркнул, что AWS сыграла ключевую роль в продвижении AIPerf. Чтобы воспользоваться новой функцией, пользователям Amazon SageMaker AI достаточно загрузить свою генеративную ИИ-модель, указать ожидаемые паттерны трафика и определить ключевую цель производительности. Это позволяет гибко настроить развертывание под специфические бизнес-требования, выбирая между оптимизацией затрат, минимизацией задержки или максимизацией пропускной способности, что делает инструмент универсальным для различных сценариев применения.