Databricks начал запись OpenTelemetry‑трейсов прямо в Unity Catalog

Databricks объявил о возможности записывать OpenTelemetry (OTel)‑трейсы напрямую в Unity Catalog: поступающие в формате OTel данные сохраняются в Delta‑таблицах в реальном времени. Публикация релиза датирована 22 мая 2026 года. Это позволяет держать трассы «в том же доме», что и бизнес‑данные, и обеспечивает доступность данных для SQL‑запросов, дашбордов, ETL‑задач и инструментов визуализации без дополнительных конвейеров. Прием реализован через управляемый cepbepless‑слой Zerobus Ingest, который нативно поддерживает OpenTelemetry‑протоколы (OTLP) по gRPC для open‑source collectors и одновременно предоставляет REST API для интеграции с фреймворками вроде MLflow. Модель «single‑sink» направляет данные напрямую в Lakehouse и позволяет обходить промежуточные шины сообщений, такие как Kafka, ускоряя запись при высоких нагрузках.

Трассы сохраняются в Delta‑таблицах и получают те же возможности масштабирования, управления и контроля доступа, что и остальные данные в Lakehouse. По данным релиза, такие трассы подходят для долгосрочного хранения и доступны для аналитики: SQL‑запросы, построение дашбордов, ETL и обработка через инструменты типа Genie. Также заявлена поддержка маскирования PII при необходимости. Авторы выделяют три ключевых преимущества подхода по сравнению с полностью SaaS‑ориентированными наблюдалками: экономия на хранении при больших текстовых нагрузках за счет объектного хранилища и Delta Lake; снижение InfoSec‑фрикции при работе с сырой информацией (например, промптами); и расширенные аналитические возможности Lakehouse — возможность объединять трассы с бизнес‑данными для оценки реального влияния инцидентов или экспериментов.

Интеграция с MLflow делает возможным поиск, фильтрацию и глубокое исследование трасс для отладки и офлайн‑оценок: сохранение трасс в Unity Catalog снимает типичные лимиты на объемы данных, что упрощает масштабные эксперименты, мониторинг продакшена и непрерывное улучшение качества агентных систем. По сути, платформа стремится превратить трассы в полноценный аналитический слой, а не краткосрочную телеметрию. Практическое следствие для разработчиков и операторов — упрощение телеметрических пайплайнов: существующие OLTP‑совместимые collectors могут указывать на endpoint Zerobus по gRPC, приложения экспортируют спаны, логи и метрики напрямую в таблицы Unity Catalog через OTLP или REST, а Zerobus выполняет роль высокопропускного канала записи в Delta‑формате. Такой поток уменьшает количество промежуточных этапов и упрощает управление данными.

В релизе отмечено, что трассы AI‑агентов обычно включают захват промптов, вызовов инструментов, ответов, задержек и путей выполнения — именно эти элементы делают трассирование критичным для отладки, оценки и управления поведением агентов в продакшене. Хранение таких подробных трасс в Lakehouse призвано упростить воспроизведение проблем, анализ влияния и масштабирование наблюдаемости.