Monzo внедрил управляемую data mesh для 100 команд и более 12 000 dbt‑моделей, сократив расходы на хранилище примерно на 40%

Monzo провёл масштабную реконструкцию хранилища данных: платформа переведена на управляемую data mesh‑подобную архитектуру с явными интерфейсными моделями и встроенными проверками качества в CI. Перевод, охватывающий вклады более 100 автономных команд и более 12 000 dbt‑моделей, направлен на сокращение дублирования вычислений и повышение предсказуемости данных, что напрямую влияет на затраты и стабильность аналитики. В основе решения — формализация слоёв моделирования: банк разделил модели на четыре уровня. Первый — автоматизированные landing‑модели для выравнивания сырых событий; второй — сгенерированные нормализованные модели с полной историей сущностей; третий — логические модели, реализующие бизнес‑логику; и четвёртый — презентационные модели, заточенные под конкретные downstream‑сценарии. Такое разделение помогает отделять ответственность команд и уменьшать ненужные перерасчёты.

Для генерации и поддержания моделей Monzo разработал Modelgen — командную утилиту, которая по объектным описаниям создаёт SQL и YAML. Вместе с этим внедрён набор CI‑проверок, валидирующих структуру, соглашения об именах и паттерны доступа. Архитектура предполагает, что каждая команда владеет своими моделями, а согласованность достигается через автоматические guardrails и общие инструменты, которые применяются централизованно в процессе сборки и деплоя. Команда аналитических инженеров, в которую входят Antonia Badarau, Irina Mugford и Massimo Frangiamore, подчёркивает, что масштаб — ключевая сложность проекта: при более чем сотне независимых команд и широком использовании AI‑ассистентов в написании кода необходимо жёстко контролировать производительность и качество выходных моделей.

Mateusz Ulas из Expeditious Software добавляет, что превращение интерфейсов данных в «первоклассный код» и встраивание стандартов прямо в CI действительно дают ощутимый эффект. По состоянию на отчёт, процесс миграции на новые практики и системы выполнен примерно на 30%. Первичные измерения в отдельных доменах показывают приблизительно 40% сокращение затрат на хранилище и около 25% ускорение времени попадания данных (landing times). Также зафиксировано уменьшение числа лишних запросов и перерасчётов, что помогло обратить предыдущую тенденцию роста расходов на хранилище.

Практический вывод для разработчиков и платформенных инженеров ясен: чёткие слои данных, стабильные интерфейсы между наборами данных и автоматизированные CI‑контролы позволяют автономным командам работать независимо, не подрывая согласованность и контроль издержек. Monzo демонстрирует, что при большом числе авторов в production‑проекте архитектура и автоматизация становятся критическими факторами управляемости и производительности системы.