Databricks anunció el 22 de mayo de 2026 la capacidad de escribir trazas en formato OpenTelemetry (OTel) directamente en Unity Catalog, permitiendo la ingestión en tiempo real de spans, logs y métricas generadas por agentes de IA en tablas Delta. Esta integración unifica la telemetría con el resto del catálogo de datos, lo que facilita la observabilidad y el análisis de comportamientos de agentes en producción. Para equipos de ingeniería y ML supone la posibilidad de analizar trazas a escala sin depender de sistemas de observabilidad separados.
La ingestión se gestiona a través de una capa serverless llamada Zerobus Ingest, que acepta los protocolos estándar de OpenTelemetry: OTLP vía gRPC para collectors de código abierto, y además expone una API REST para integraciones con marcos de aplicación como MLflow. Los datos se persisten en formato Delta mediante una arquitectura “single — sink” diseñada para evitar hops intermedios; esto reduce latencia operativa y puntos de fallo en pipelines de telemetría.
Con las trazas almacenadas en tablas Delta, los equipos pueden tratarlas como datos consultables: ejecutar SQL, construir dashboards y armar pipelines ETL sobre la telemetría. La integración permite usar herramientas como Genie y aplicar controles de gobernanza — por ejemplo, enmascaramiento de PII-con las mismas políticas que rigen otros activos del catálogo. La compatibilidad con MLflow facilita localizar, filtrar y profundizar en trazas para depuración y evaluación, además de soportar evaluaciones offline a gran escala sin los límites de volumen habituales.
Databricks posiciona esta opción frente a las plataformas SaaS de observabilidad por tres razones citadas: economía de retención (almacenar cargas textuales grandes en Delta Lake sobre object storage suele ser más barato), evitar el envío de datos sensibles o prompts a terceros y aprovechar la capacidad analítica del Lakehouse para unir trazas con datos de negocio como ingresos o conversiones. Esa combinación pretende ofrecer tanto ahorro como mayor control sobre datos sensibles y mejores capacidades analíticas al correlacionar telemetría con métricas comerciales.
En la práctica, la propuesta busca reducir la complejidad operacional de pipelines de telemetría multi‑hop y eliminar duplicaciones entre sistemas. Los desarrolladores podrán usar trazas como datasets para evaluación continua, monitoreo en producción y para aplicar modelos de IA directamente sobre registros de ejecución, manteniendo retención y gobernanza centralizadas. La integración promete así convertir la telemetría de agentes en un activo consultable y gobernado dentro del Lakehouse.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
