Parveen Saini: как микропакеты в Spark Structured Streaming ускорили delta‑индексный пайплайн

Parveen Saini в статье на InfoQ от 4 мая 2026 года описывает практический переход набора пакетных задач, формировавших delta‑индекс для поиска и рекламы, в постоянно работающую модель микропакетов на Spark Structured Streaming. Главный вывод — значительная часть пользовательской латентности в пакетных пайплайнах связана не с самими вычислениями, а с планированием и оркестрацией задач; переход на микропакеты устраняет крупные задержки расписаний без необходимости перехода к сложной стриминговой обработке по записям. Это важно для систем, где критична свежесть данных в выдаче и рекламе.

В реализованном пайплайне команда использовала Spark Structured Streaming в режиме микропакетов, но сознательно не полагалась на встроенные event‑time watermarks и стандартный чекпоинтинг. Прогресс работы отслеживался внешним логическим watermark, основанным на временных партициях: система продвигалась по последним доступным партициям, опираясь на их метки времени, а не на нативные механизмы event‑time. Такой подход позволил управлять прогрессом детерминированно и предсказуемо в условиях объектного хранилища.

Командой был отклонён построчный (record‑level) стриминг как излишне рискованный для данного сценария. Рассматривался лог‑ориентированный подход через системы типа Kafka, но исходные данные имели snapshot‑ориентированную структуру в объектном хранилище: важна полнота партиции целиком, а не порядок отдельных записей. Для таких случаев надёжнее продвигаться по списку партиций и учитывать их завершённость, чем пытаться поддерживать строгий порядок событий на уровне записей. Авторы детально описывают поведение при лагах и рестартах: для пайплайнов с перекрывающимися окнами и требованием свежести иногда предпочтительнее пропустить старые партиции и перейти к последним доступным, чем воспроизводить каждую промежуточную порцию. Saini рекомендует делать регулярные рестарты частью операционного процесса, а не рассматривать их как исключения, когда это повышает оперативную свежесть данных и упрощает эксплуатацию.

Практические инженерные приёмы включали отказ от ненадёжных success‑файлов и completion‑маркеров, характерных для S3 с eventual‑consistency, и использование партиционно‑базированных watermarks. Детерминированный rate‑based прогресс и гарантии корректности для overlap‑окон обеспечивали предсказуемость при листинге файлов в объектном хранилище вместо ожидания внешних сигналов о завершении партиции. Рабочая область описанного решения — инжест рекламных кампаний и сигналов по товарам и клиентам (конверсии, поведение), из которых строился инвертированный индекс для поиска и выдачи рекламы. По мнению Saini (рецензент — Arthur Casals), подход применим там, где свежесть важнее строгого воспроизведения всей истории; материал опубликован на InfoQ 04.05.2026.