Agoda внедрила мультимодальную платформу для сопоставления фото и отзывов — система охватывает свыше 700 млн изображений

Agoda запустила мультимодальную платформу, которая сопоставляет визуальные метки из фотографий и семантические фрагменты из гостевых отзывов, чтобы унифицировать представление атрибутов отелей и ускорить выдачу релевантного контента. Система уже охватывает более 700 млн изображений и работает с отзывами на более чем 40 языках, что позволяет применять единый набор тем при поиске и отображении информации пользователям. Для потребителей это означает более согласованный опыт поиска и быстрый доступ к мультимодальному контенту без долгих задержек при запросе.

В основе решения лежит общая таксономия тем — канонические метки вроде Pool, Breakfast, Room Quality и Location — которая служит «семантической поверхностью» для разных модальностей. Для изображений используются классификационные модели, генерирующие метки (например pool, beach view, breakfast area), а отзывы проходят NLP‑конвейеры, извлекающие ключевые фразы, репрезентативные отрывки и сигналы тональности. Эти артефакты нормализуют и группируют по темам, формируя заранее подготовленные мультимодальные пакеты, которые представляют каждую тему в согласованном виде.

Чтобы избежать тяжёлых runtime‑джойнов между изображениями и текстовыми фрагментами, Agoda переносит корреляции в офлайн‑этапы обогащения: ассоциации предварительно вычисляются и сохраняются как итоговые артефакты для быстрого доступа. Такой подход позволяет через низколатентный слой выдачи предоставлять готовые наборы изображений, мультиязычные выдержки из отзывов и метрики сентимента без дорогостоящих соединений данных во время запроса. Пайплайны обработки больших объёмов данных организованы с помощью PySpark‑заданий, оркеструемых через Kubeflow, что обеспечивает распределённый инжест и этапы обогащения. Итоговые объекты тем сохраняются в Couchbase, который служит слоем для быстрого обслуживания продакшен‑трафика. Комбинация этих технологий рассчитана на масштабирование при работе с сотнями миллионов изображений и миллионами отзывов.

Исторически изображения и отзывы обрабатывались разрозненно, с независимой логикой ранжирования и поиска, что затрудняло корреляцию визуального контента и текста. Как отметил Адитья Кумар Рэй (Aditya Kumar Ray), VP в Flyshop, «в современной travel‑индустрии данные — это понимание контекста контента в масштабе», подчёркивая необходимость единой семантической поверхности. перенос корреляции в офлайн улучшает задержки и масштабируемость, но требует строгого управления версиями таксономии и механизмов предотвращения дрейфа смыслов в разных языках и доменах. Agoda также заявила о расширяемости системы: в неё можно интегрировать структурированные метаданные объектов и дополнительный пользовательский медиаконтент для усиления семантического покрытия и улучшения релевантности выдачи по новым темам.