Google DeepMind связал Genie 3 со Street View для генерации проходных виртуальных миров

DeepMind представила экспериментальный прототип, который использует панорамы Street View как отправную точку для создания исследуемых виртуальных пространств с помощью модели Genie 3;

Google DeepMind запустил прототип, объединяющий модель мира Genie 3 с панорамными снимками Street View, чтобы быстро генерировать проходные виртуальные миры, привязанные к реальным локациям. Это позволяет запускать симуляции, ориентированные не на абстрактные карты, а на конкретные уличные панорамы — что важно для тренировки навигации и проверки поведения автономных систем в узнаваемых местах.

Рабочий процесс прост: пользователь фиксирует пин на карте, после чего система строит начальную сцену, ориентированную на панорамы по этой точке. При желании можно выбрать стилизацию (например, «Ocean World», «Desert Sands», «Stone Age», «B&W film») и описать персонажа — Genie 3 затем генерирует проходной мир, у которого отправная точка жёстко привязана к конкретной съёмке Street View. Компания подчёркивает, что механизм опирается на интерфейс Maps Imagery Grounding, уже используемый разработчиками для генерации визуалов из данных Street View.

Ключевой ресурс в проекте — сама база Street View: годы съёмки дорог, интерьеров и удалённых мест дают DeepMind обширную библиотеку изображений, привязанных к карте. DeepMind позиционирует систему главным образом как реалистичную тренировочную среду для задач навигации, рассуждений и обучения ИИ‑агентов и роботов, а не как потребительский продукт. Уже сейчас модель применяется в симуляциях: агент SIMA 2 использует Genie 3 как тренировочный полигон, а Waymo тестирует с его помощью более реалистичные уличные сценарии для автопилотов.

Проект объявлен экспериментальным исследовательским прототипом. Доступ к функции открыт подписчикам Google AI Ultra при подписке за указанную цену $200 в месяц; сервис доступен только для взрослых 18+. На данный момент привязка к реальным локациям работает только для точек в США, а DeepMind отмечает наличие видимых графических огрехов и объявляет о планах по их устранению в будущем.

Ранние демонстрации и независимые тесты одновременно демонстрируют широту возможных сценариев и текущие технические ограничения. В промо‑материалах показаны, например, затоплённый мост Golden Gate и Fort Worth Stockyards в стиле 1920‑х; сторонние испытания и описания в Twitter бывшего менеджера по AR/VR и 3D Maps Билавала Сидху фиксируют гонки по Las Vegas Strip, прогулку в образе белки у Palace of Fine Arts, лодочные маршруты по Lady Bird Lake и прогулки по внутренним панорамам Белого дома. При этом наблюдаются мягкие текстуры, нестабильная геометрия и сюрреалистические переходы между сценами.