Monzo reconfiguró su almacén de datos para atender a más de 100 equipos y más de 12.000 modelos dbt, y asegura que la migración realizada en el último año redujo el coste del data warehouse en aproximadamente un 40% mientras aceleraba la entrega de datos en cerca de un 25%. El cambio busca sostener la escala operativa y reducir el coste a medida que crece el uso interno de datos y modelos automatizados.
La rearquitectura introdujo capas de modelado y modelos interfaz explícitos para gestionar dependencias cross‑equipo. La organización definió tres principios: imponer estándares claros, formalizar el intercambio mediante interfaces y automatizar comprobaciones en CI. Los modelos se agrupan en cuatro capas — landing, normalized, logical y presentation— y se creó Modelgen, una herramienta de línea de comandos que genera SQL y YAML a partir de definiciones de objetos, estandarizando nombres y estructuras durante la creación.
El objetivo fue manejar la complejidad asociada a la propiedad distribuida de datos y al creciente aporte asistido por IA. Las ingenieras Antonia Badarau, Irina Mugford y Massimo Frangiamore señalan que empoderar equipos acelera el trabajo pero exige controlar rendimiento, coherencia y calidad a escala. Como resultados prácticos, Monzo desplegó cientos de interfaces gobernadas, redujo consultas redundantes y recomputación, mejoró los tiempos de llegada de datos y contuvo la escalada del coste del almacén.
La combinación de Modelgen y reglas validadas por CI permite comprobar estructura, convenciones de nombres y patrones de acceso sin depender únicamente de revisiones manuales.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
