Качественные изменения в мультимодальных моделях: новые возможности от Sentence Transformers

Библиотека Sentence Transformers расширяет свои функции, предлагая инструменты для обучения мультимодальных моделей, которые обрабатывают текст, изображения, аудио и видео, что значительно улучшает их производительность в специфичных задачах.

Компания Hugging Face анонсировала обновление своей библиотеки Sentence Transformers, в которой теперь доступны возможности для обучения и дообучения мультимодальных embedding и reranker моделей. Эти модели могут обрабатывать информацию из разных форматов, включая текст, изображения, аудио и видео, что открывает новые горизонты в таких областях, как генерация с учетом извлечения и семантический поиск.

В обновлении предлагаются детальные инструкции по дообучению моделей на собственных данных, что позволяет пользователям подстраивать их под специфические задачи, например, для поиска конкретных документов на основе текстовых запросов. В тестах дообученная модель показала значительное улучшение, достигнув показателя NDCG@10 0.947 по сравнению с исходной версией, имеющей 0.888.

уровень адаптации, который обеспечивает дообучение на специализированных данных, позволяет значительно опережать более крупные и дорогостоящие решения — порой в четыре раза. Это делает Sentence Transformers актуальным инструментом для разработчиков и исследователей, стремящихся повысить эффективность своих проектов.

Активное применение новых возможностей может улучшить множество приложений, от образовательных платформ до бизнес-аналитики. Гибкость настройки моделей позволяет различным сферам более эффективно решать поставленные задачи, обеспечивая высокую точность и скорость обработки информации.