Databricks ha anunciado el lanzamiento de Genie Code, un socio de IA autónomo diseñado específicamente para la ingeniería de datos. Integrado directamente en la plataforma unificada Lakeflow de Databricks, que abarca desde el editor de pipelines hasta Lakeflow Jobs, Genie Code permite a los ingenieros de datos conceptualizar, construir, orquestar y depurar pipelines de producción empleando exclusivamente lenguaje natural.
En la fase de desarrollo, Genie Code actúa como un asistente inteligente que comienza por la búsqueda y el descubrimiento de activos de datos. Utiliza información crucial como la popularidad, el linaje, muestras de código y los metadatos de Unity Catalog para identificar los datos más pertinentes para cada tarea. Permite a los usuarios preguntar cómo se relacionan las tablas o rastrear el flujo de datos. Un caso de uso destacado es el de SiriusXM, donde los equipos ya aprovechan Genie Code para entender las relaciones entre tablas con mayor celeridad.
Más allá de la construcción inicial, Genie Code simplifica significativamente la orquestación de los trabajos de datos. Elimina la necesidad de definir y mantener manualmente la lógica de orquestación, permitiendo a los ingenieros describir el trabajo deseado, incluyendo sus tareas, dependencias y el horario de ejecución. Genie Code se encarga de configurarlo y, posteriormente, ayuda a modificar y depurar problemas de orquestación mediante lenguaje natural. Esta capacidad se extiende a la evolución y adaptación de flujos de trabajo existentes; a medida que los requisitos cambian, Genie Code ayuda a actualizar pipelines y trabajos con nuevos conjuntos de datos y transformaciones.
La adopción de las mejores prácticas de ingeniería de software para proyectos de datos se ve facilitada por la integración de Genie Code con los Bundles de Automatización Declarativa (DABs). Genie Code puede trabajar directamente dentro de proyectos DABs existentes, añadiendo recursos, actualizando configuraciones, validando bundles y desplegándolos a los destinos. Esto permite incorporar prácticas como el control de código fuente, las pruebas y la integración y despliegue continuos (CI/CD) para los proyectos de datos sin necesidad de escribir YAML manualmente.
La utilidad de Genie Code se extiende crucialmente a la monitorización, diagnóstico y depuración de pipelines y trabajos. La herramienta puede inspeccionar conjuntos de datos y salidas de pipelines para ayudar a comprender el comportamiento de un pipeline de extremo a extremo, resumiendo transformaciones, rastreando el flujo de datos hacia tablas posteriores y destacando cambios inesperados en los recuentos de filas o esquemas. Cuando un pipeline o trabajo falla, Genie Code se convierte en un aliado indispensable. Analiza los errores, propone actualizaciones en los archivos relevantes y muestra las diferencias ("diffs") antes de aplicar cualquier cambio.
En resumen, Genie Code de Databricks no solo acelera la creación y gestión de pipelines de datos, sino que redefine el rol del ingeniero de datos. Al automatizar tareas complejas y repetitivas a través de una interfaz de lenguaje natural, los profesionales pueden enfocarse en desafíos más estratégicos, innovar y optimizar los flujos de trabajo a una escala sin precedentes. Esta herramienta representa un paso significativo hacia una ingeniería de datos más inteligente y accesible, permitiendo a las organizaciones mantener la gobernanza y la calidad de los datos mientras adoptan la agilidad que exige el panorama actual de la inteligencia artificial.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
