Alibaba Cloud расширяет возможности E — MapReduce: бессерверная архитектура, интеграция ИИ и рекордная производительность

Компания Alibaba Cloud представила масштабное обновление своей платформы E — MapReduce (EMR), которая позиционируется как полностью управляемое облачное решение для работы с большими данными, построенное на базе экосистемы открытого исходного кода. Платформа выступает одним из ключевых вычислительных и аналитических ядер комплексного решения OpenLake и обеспечивает глубокую совместимость с такими популярными технологиями, как Hadoop, Spark, StarRocks, Presto, Hudi, Iceberg и Paimon. Главная цель архитектуры заключается в предоставлении корпоративным клиентам единого фундамента для построения современных озер данных, где традиционная обработка информации в пакетном и потоковом режимах органично объединяется с возможностями искусственного интеллекта.

Инфраструктурное ядро обновленной линейки опирается на три гибкие модели развертывания, что позволяет заказчикам точно адаптировать вычислительную среду под специфику своих проектов. Формат EMR Serverless обеспечивает автоматическое масштабирование ресурсов за секунды в зависимости от текущей нагрузки на бизнес, тарифицируется исключительно по факту использования и не требует предварительного резервирования мощностей. В сочетании со стратегией многоуровневого хранения горячих и холодных данных этот подход существенно снижает общую стоимость владения корпоративной ИТ-инфраструктурой.

Особое внимание в рамках бессерверной архитектуры уделено развитию решения EMR Serverless Spark, которое представляет собой высокопроизводительный продукт класса Lakehouse, ориентированный на совместную работу с данными и алгоритмами. Встроенный механизм Fusion 2.0 способен обеспечивать производительность, в четыре раза превышающую показатели стандартного открытого кода Spark. При этом от пользователей не требуется ручное управление кластерами, а инструмент нативно поддерживает планирование графических процессоров (GPU) и распределенную структуру Ray.

Для аналитической обработки данных в режиме реального времени платформа предлагает управляемый сервис EMR Serverless StarRocks, который сохраняет стопроцентную совместимость с оригинальной версией из открытого сообщества. Внутренняя оптимизация механизмов позволяет этому решению демонстрировать до десяти раз более высокую скорость работы с запросами к таблицам озер данных по сравнению с базовым кодом. Предприятия могут применять этот инструмент для создания эффективных OLAP-систем и ускоренного внедрения облегченных хранилищ.

Техническое превосходство платформы подтверждается результатами независимых международных тестирований. В бенчмарке TPC-H, оценивающем эффективность систем в сфере аналитики данных, сервис EMR Serverless StarRocks на базе движка Stella 1.2.0 завоевал мировое первенство, достигнув показателя свыше 7,54 миллиона QphH, что на 111 процентов превосходит результат ближайшего конкурента. В тестах поддержки принятия решений TPC — DS конфигурация EMR Serverless Spark в связке с DLF заняла первое место, показав результат более 65,68 миллиона QphDS и обеспечив преимущество в 100 процентов по чистой производительности.