Databricks представляет Genie Code: Революция в инженерии данных с помощью ИИ-ассистента

Компания Databricks представила Genie Code, своего нового автономного ИИ-ассистента, который глубоко интегрирован с платформой Lakeflow. Этот инструмент призван трансформировать процесс инженерии данных, позволяя специалистам создавать, оркестрировать и отлаживать конвейеры данных, используя команды на естественном языке. Genie Code функционирует как специализированный ИИ-ассистент для инженеров данных, доступный непосредственно в редакторе конвейеров Lakeflow Pipeline Editor и в Lakeflow Jobs, охватывая весь жизненный цикл инженерии данных. Этот шаг Databricks укрепляет позиции Genie Code как значительного прорыва в области агентного ИИ для корпоративного программного обеспечения, особенно в сфере управления данными.

Genie Code существенно упрощает разработку конвейеров, позволяя инженерам описывать желаемые конвейеры на простом языке. Например, можно запросить конвейер для обнаружения мошенничества, построенный на архитектуре типа «медальон». Genie Code способен генерировать готовые к производству декларативные конвейеры Spark с уровнями Bronze, Silver и Gold, включая источники данных, преобразования, ожидания качества данных и выходные данные. Он также позволяет осуществлять поиск по активам данных, используя популярность, происхождение, примеры кода и метаданные Unity Catalog, что помогает быстро находить наиболее релевантные наборы данных.

Помимо создания, Genie Code играет ключевую роль в оркестровке и управлении рабочими процессами. Он избавляет от необходимости вручную определять и поддерживать логику оркестровки; достаточно описать желаемое задание, включая задачи, зависимости и расписание, и Genie Code автоматически его сконфигурирует. Ассистент также понимает текущую структуру и результаты конвейеров, помогая расширять и развивать существующие рабочие процессы с новыми наборами данных и преобразованиями. Это включает автоматическое создание потоков для захвата измененных данных (AutoCDC), конфигурирование Auto Loader и применение ожиданий качества данных.

Применение Genie Code способствует внедрению лучших практик разработки программного обеспечения. Он напрямую работает с проектами Declarative Automation Bundles (DABs), позволяя добавлять ресурсы, обновлять конфигурации, проверять пакеты и развертывать их. Таким образом, команды могут использовать такие практики, как контроль версий, тестирование и CI/CD для своих проектов данных, не занимаясь написанием YAML-кода вручную. При этом Genie Code гарантирует, что рабочие процессы остаются согласованными с корпоративными требованиями: конвейеры управляются через Unity Catalog, соответствуют установленным шаблонам производительности и качества данных, а задания наследуют согласованные конфигурации для планирования, повторных попыток и зависимостей.

Инструмент также значительно улучшает возможности мониторинга, диагностики и отладки. Genie Code может анализировать наборы данных и выходные данные конвейеров, чтобы помочь понять их работу от начала до конца, например, суммировать преобразования, отслеживать поток данных в нижестоящие таблицы и выделять неожиданные изменения в количестве строк или схемах. В случае сбоя конвейера или задания, ассистент анализирует ошибки, предлагает обновления в соответствующих файлах и показывает предлагаемые изменения (diffs) перед их применением. Это трансформирует длительные циклы ручной отладки в более быстрые и управляемые итерации, позволяя инженерам данных сосредоточиться на более сложных задачах.

Таким образом, Genie Code от Databricks предоставляет комплексное решение, которое значительно сокращает ручные усилия, ускоряет разработку и эксплуатацию систем обработки данных, а также обеспечивает строгое соответствие корпоративным стандартам и передовым практикам. Инженеры данных сохраняют полный контроль над процессами, но при этом могут тратить меньше времени на повторяющиеся задачи, что позволяет им сосредоточиться на инновациях и стратегическом развитии.