Google представила Virgo Network: основу для ИИ-гиперкомпьютеров следующего поколения

Google представила Virgo Network — революционную сетевую архитектуру, разработанную для мегамасштабных центров обработки данных. Эта инновация станет ядром для собственного ИИ-гиперкомпьютера компании, призванного обеспечить необходимую инфраструктуру для экспоненциального роста машинного обучения в течение следующего десятилетия. Современные фундаментальные модели ИИ требуют беспрецедентной производительности, и традиционные универсальные сети уже не справляются с возрастающим числом параметров и объемом данных.

Virgo Network решает эту проблему, предлагая масштабируемую сеть, построенную на высокорадиальных коммутаторах, что позволяет значительно сократить количество сетевых уровней за счет увеличения числа портов на каждом коммутаторе. Она использует плоскую двухслойную неблокирующую топологию, которая существенно снижает задержки. Кроме того, архитектура включает мультипланарный дизайн с независимыми доменами управления для подключения ускорителей и интегрирована с сетью Jupiter для эффективной обработки трафика "север — юг", обеспечивая комплексное решение.

Эпоха искусственного интеллекта требует фундаментального переосмысления физической облачной инфраструктуры, особенно в части сетевых технологий. Существующие сетевые решения не способны эффективно обрабатывать характерные для современных рабочих нагрузок ИИ вызовы: массовое масштабирование, взрывной рост пропускной способности, синхронизированные всплески трафика и строгие требования к низкой задержке. Архитектура Virgo целенаправленно разработана для решения этих критических проблем, обеспечивая массивную бисекционную пропускную способность и детерминированно низкую задержку. Эти характеристики жизненно важны как для эффективного распределенного обучения крупномасштабных моделей, так и для их высокопроизводительного обслуживания. Стратегическое разделение архитектуры на независимые домены управления также предоставляет значительные преимущества, позволяя развивать и обновлять каждый сетевой сегмент автономно. Такой подход значительно ускоряет цикл инноваций и адаптацию к постоянно меняющимся требованиям ИИ.

Архитектура Virgo организована в три специализированных уровня, которые функционируют как единый высокопроизводительный вычислительный домен, обеспечивая бесшовное взаимодействие. Первый уровень представляет собой высокопроизводительную сеть, оптимизированную для тесно связанной связи между ускорителями в пределах одного "пода" — базовой единицы размещения вычислительных ресурсов. Второй уровень — это выделенная RDMA-сеть, специально предназначенная для горизонтального масштабирования и эффективного взаимодействия между различными подами, что критично для обучения сверхбольших моделей.

Третий, внешний уровень — это высокоемкая сеть Jupiter, обеспечивающая надежный и быстрый доступ к распределенному хранилищу данных и общим вычислительным ресурсам. Ключевым аспектом успеха Google является подход к совместной разработке: сетевая инфраструктура Virgo создается в тесной связке с каждым новым поколением аппаратных ускорителей машинного обучения. Это гарантирует оптимальное соответствие архитектуры сети поддерживаемому оборудованию, обеспечивая максимальную производительность даже для самых требовательных ИИ-рабочих нагрузок и способствуя развитию будущих инноваций в области ИИ.