Change Data Feed (CDF) для Lakebase стал доступен в Public Preview

Lakebase получил нативный Change Data Feed (CDF), управляемый через Unity Catalog Managed Tables; фид доступен в Public Preview и предназначен для упрощения чтения изменений OLTP‑данных разными консьюмерами без настройки отдельных реплик.

Change Data Feed (CDF) для Lakebase теперь доступен в Public Preview. По объявлению, CDF обеспечивает единый фид изменений операционных (OLTP) таблиц, который хранится и управляется через Unity Catalog Managed Tables; включение фида происходит нативно в Lakebase и, как указано в анонсе, занимает менее минуты. Фид распространяется на все таблицы внутри проекта, один и тот же поток изменений доступен всем downstream‑потребителям, при этом первичная OLTP‑нагрузка остаётся изолированной. CDF устраняет необходимость создавать отдельные репликации для каждого потребителя данных: изменения записываются в согласованный набор событий, который читают различные движки и агенты. Это снижает риск рассинхронизации между индивидуальными репликами и упрощает поддержание согласованности состояний для нескольких подписчиков.

Проиллюстрированы конкретные варианты потребления: на базе одного фида можно строить стриминговые конвейеры с SDP, формировать материализованные представления через DBSQL и вычислять или хранить эмбеддинги с помощью AgentBricks. Таким образом каждый подписчик получает один и тот же упорядоченный набор изменений вместо отдельной, часто дублирующейся, экстракции данных. Авторы анонса отмечают, что Lakehouse‑подход ранее решал проблему множественных экстракций через хранение данных в открытых форматах (Apache Iceberg, Delta Lake) и стандартизацию CDF для репликации. Однако извлечение CDC из операционных баз оставалось ручным и затратным этапом; новая нативная реализация для Lakebase позиционируется как расширение этой открытости на OLTP‑уровень, упрощающее интеграцию операций и аналитики.

Для инженеров и продуктовых команд внедрение CDF означает сокращение количества коннекторов и рабочих процессов репликации: больше не требуется настраивать отдельные пайплайны для каждого назначения, отслеживать состояния репликации в разрозненных инструментах или решать проблему согласованности вручную. Unity Catalog дополнительно обещает сквозное управление доступом и отслеживание линейности данных по их жизненному циклу. Rollout осуществляется в режиме Public Preview — в анонсе это называют «только началом» — и разработчиков приглашают на сессию в рамках Data and AI Summit под заголовком «Zero — ETL was just the start: Operational Databases belong in the Medallion Architecture». Подробности и документация приведены в исходном объявлении.