Databricks расширила поддержку Apache Iceberg в Unity Catalog — часть функций уже в GA, другие в Preview и Beta

Databricks 28 мая 2026 года выпустила пакет возможностей Apache Iceberg в Unity Catalog: часть функций доступна в General Availability, часть — в Preview или Beta.

Databricks 28 мая 2026 года анонсировала расширение поддержки формата таблиц Apache Iceberg в Unity Catalog: релиз сочетает функции, уже готовые к промышленному использованию (GA), и инструменты в Preview/Beta для тестирования. Это обновление ориентировано на безопасную работу с данными и междвижковую интероперабельность — разработчики смогут обращаться к Iceberg‑таблицам из разных движков без копирования данных и с ограничением раскрытия учётных данных.

В числе ключевых возможностей, доступных в General Availability, — Managed Iceberg: создание, чтение, запись, оптимизация и шаринг таблиц под управлением Unity Catalog. Также в GA объявлен Iceberg v3, который приносит нативную поддержку deletion vectors, row tracking и новый тип VARIANT, а также Foreign Iceberg и Credential Vending for Foreign Iceberg для регистрации внешних таблиц и безопасного выполнения запросов к ним.

Дополнительно Databricks вывела в GA External Sharing to Iceberg clients — механизм шаринга «живых» данных для любых Iceberg REST‑совместимых клиентов через открытый протокол Delta Sharing. Среди функций в публичном превью и бета‑статусе — External Sharing of Foreign Iceberg tables (Public Preview), Iceberg‑совместимые материализованные представления (Gated Public Preview) и Cross‑engine Attribute‑Based Access Control (Beta). Для федерации каталогов выпущены новые коннекторы в Preview‑статусе, включая интеграции для Google Cloud Lakehouse и Palantir.

Databricks формулирует пять операционных требований к полноценному Iceberg‑каталогу: открытые API, федерация внешних активов, принудительная кросс‑движковая политика, безопасный открытый шаринг и постоянные улучшения производительности и формата. Компания утверждает, что Unity Catalog реализует все эти пункты, расширяя возможности совместного использования и управляемости данных между разными движками. Практические последствия для инженеров данных и разработчиков: UC Iceberg REST Catalog APIs позволяют обращаться к таблицам из Spark, Trino, Flink, Snowflake, DuckDB, pandas и других Iceberg‑совместимых клиентов без копирования данных и без предоставления широких прав на объектное хранилище. Credential vending сокращает необходимость передачи статичных учётных данных, а механизмы Predictive Optimization и Liquid Clustering берут на себя ручную оптимизацию производительности.

Релиз от 2026‑05‑28 содержит сочетание GA, Preview, Beta и Gated Public Preview функционала — это означает, что отдельные компоненты уже готовы для промышленного использования, тогда как другие доступны с ограниченным доступом или для тестирования. Databricks рекомендует оценивать Unity Catalog через призму перечисленных пяти требований к совместимости и управлению данными при планировании внедрения.