Cloud Storage Rapid ускоряет объектное хранилище для задач ИИ и аналитики

Cloud Storage Rapid объединяет Rapid Bucket (GA) и Rapid Cache, чтобы устранить узкие места ввода‑вывода при обучении и инференсе масштабных моделей и позволить GPU/TPU работать полностью загруженными.

Cloud Storage Rapid представлен как набор решений для ускорения объектного хранения при работе с масштабными моделями ИИ и нагрузками аналитики: продукт включает Rapid Bucket (GA) и Rapid Cache. Это важно, потому что узкие места в хранении данных замедляют обучение и инференс, приводя к простаивающим и дорогостоящим вычислительным ресурсам; новая платформа призвана снизить такие задержки и повысить эффективность использования GPU и TPU.

Cloud Storage Rapid состоит из Rapid Bucket (ранее — Rapid Storage), высокопроизводительного зонального объектного хранилища, и Rapid Cache (ранее — Anywhere Cache), который ускоряет чтения по требованию и обеспечивает совместное размещение вычислений и данных для рабочих нагрузок в существующих бакетах. Rapid Cache позволяет подсистемам чтения масштабироваться отдельно от основного бакета, а Rapid Bucket предоставляет локальную зональную производительность для критичных по задержке операций. Хранилище — это «движок», питающий ускорители во время обучения, а также быстрый слой доступа, который делает реальное время инференса отзывчивым. По мере роста моделей хранение становится узким местом: каждая задержка при чтении данных или при записи контрольных точек приводит к простаиванию дорогостоящих вычислительных циклов и снижению общей производительности кластеров.

Ранее разработчики часто вынуждены были выбирать между специализированной зональной системой с высокой производительностью и глобальным объектным хранилищем, таким как Google Cloud Storage, предлагающим простоту, масштабируемость, надёжность и экономичность. С переходом к триллион‑параметровым моделям и нагрузкам обучения и инференса с тысячами GPU и TPU традиционные объектные хранилища достигли порога производительности, на который они не были рассчитаны. Семейство Rapid предлагает несколько опций для совместного размещения вычислений непосредственно с высокопроизводительным зональным хранилищем, минимизируя узкие места ввода‑вывода, которые блокируют ускорители. В результате GPU и TPU могут оставаться полностью загруженными и продуктивными, а команды ИИ получают более предсказуемое и эффективное время выполнения рабочих нагрузок.

Rapid Bucket уже доступен в GA и помогает Cloud Storage отвечать на растущие требования массовых генеративных моделей, аналитики и других высокопроизводительных задач. Rapid Cache дополняет его, ускоряя доступ к данным в существующих бакетах и упрощая размещение данных ближе к вычислениям; вместе они призваны сократить задержки и повысить эффективность использования вычислительных ресурсов для крупных проектов ИИ и аналитики.