Discord внедрил Scylla Control Plane для автоматизации десятков ScyllaDB‑кластеров

Discord ввёл Scylla Control Plane (SCP) — внутреннюю систему оркестрации, которая автоматизирует ключевые операции над ScyllaDB и сокращает потребность в ручных вмешательствах. Теперь небольшая команда Persistence Infrastructure запускает и отслеживает роллинг‑обновления, масштабирование, провизию shadow‑кластеров и восстановление узлов как повторяемые рабочие процессы, что упрощает управление сотнями узлов в десятках кластеров и снижает риск простоев. SCP спроектирован как общий фреймворк с повторно используемыми задачами, рабочими потоками и возможностью возобновления прерванных заданий. Операции описываются декларативно в YAML, а система обеспечивает встроенные ретраи, валидацию зависимостей и контроль параллелизма. Задания сохраняют состояние для корректного продолжения выполнения, что позволяет безопасно повторять прерванные процедуры без ручной санации состояния.

Причиной внедрения стали масштаб и хрупкость прежних процедур: команда управляет десятками ScyllaDB‑кластеров с сотнями узлов, хранящих критичные данные — сообщения, каналы и серверы. До SCP многие операции опирались на разрозненные Python‑ и shell‑скрипты, требовавшие глубоких знаний и постоянного надзора; по мере роста инфраструктуры такой подход стал неустойчивым и затратным по времени. Одно из практических улучшений — автоматизация провизии shadow‑кластеров. Речь о временных полноценных копиях продакшена, которые принимают реальный трафик для валидации апгрейдов и инфраструктурных изменений. Ранее настройка таких окружений занимала более дня и требовала ручной синхронизации; SCP автоматизирует конфигурацию узлов, настройку репликации, валидацию и демонтаж в виде повторяемых рабочих процессов, что сокращает время и вероятность ошибок.

SCP включает механизмы безопасности и надёжности: явные предусловия, персистентность состояния через SQLite, классификация ошибок, webhook‑уведомления, настраиваемые правила параллелизма и механизмы отката. В системе приняты ограничения вроде «не перезапускать узлы одновременно в разных зонах доступности» и требование идемпотентности задач, что облегчает безопасное возобновление и повторение операций. Для инженеров это не только ускорение процессов, но и снижение когнитивной нагрузки: люди вмешиваются при исключениях, а рутинные и долгие процедуры выполняет SCP. Опыт Discord служит практическим примером для команд, которые эксплуатируют распределённые базы данных при ограниченных ресурсах: декларативные операции, возобновляемость заданий и shadow‑тестирование помогают масштабировать управление и уменьшать зависимость от узконаправленных скриптов.