Августовское обновление моделей Cohere: архитектурный скачок для серии Command

Канадская исследовательская лаборатория искусственного интеллекта Cohere представила масштабное августовское обновление своей флагманской линейки генеративных языковых моделей, официально выпустив усовершенствованные версии нейросетей Command R и Command R+. Эти новые итерации, доступные через программный интерфейс приложения под техническими обозначениями command — r-08-2024 и command — r-plus-08-2024 соответственно, демонстрируют значительное улучшение производительности при выполнении широкого спектра вычислительных задач. Данный архитектурный скачок происходит в критический момент развития индустрии, когда корпоративный сектор начинает фундаментально пересматривать свои долгосрочные стратегии внедрения искусственного интеллекта.

Наиболее очевидным практическим последствием этого обновления становятся впечатляющие изменения в показателях пропускной способности и требований к оборудованию. Обновленная модель command — r-08-2024 обеспечивает примерно на 50% более высокую пропускную способность и на 20% снижает задержку при обработке запросов по сравнению с предыдущей версией Command R. Что еще более важно для корпоративных клиентов, этот прирост скорости сопровождается двукратным сокращением аппаратных ресурсов, необходимых для обслуживания модели. В то же время более крупная нейросеть command — r-plus-08-2024 также демонстрирует увеличение пропускной способности примерно на 50% и снижение задержек на 25%, при этом сохраняя прежние требования к аппаратному обеспечению.

Особое практическое значение августовский релиз имеет для корпоративных систем, активно использующих технологию генерации с дополненной выборкой, известную как RAG. Обе модели получили существенные улучшения в области многоязычного поиска RAG, позволяя осуществлять запросы на родном языке пользователя и генерировать более точные ответы. Качество цитирования источников было значительно повышено, однако для тех разработчиков, чьи рабочие процессы не требуют строгих ссылок, появилась новая удобная функция полного отключения цитат. Кроме того, модели стали лучше справляться с анализом структурированных данных и их созданием на основе неструктурированных инструкций на естественном языке.

Серьезный сдвиг произошел и в том, как языковые модели взаимодействуют со сложными, многоэтапными агентными процессами и внешними инструментами. В версиях command — r-08-2024 и command — r-plus-08-2024 реализован усовершенствованный алгоритм принятия решений относительно того, какой именно инструмент следует использовать в конкретном контексте, а также в ситуациях, когда от применения инструментов лучше отказаться вовсе. Модели демонстрируют улучшенное следование инструкциям, заданным в преамбуле запроса, и обладают повышенной устойчивостью к несемантическим изменениям в текстовых подсказках, таким как добавление лишних пробелов или новых строк.

Чтобы дополнительно расширить разнообразие поддерживаемых корпоративных сценариев применения, обновление Cohere вводит детализированный, глубоко контекстно — зависимый подход к модерации контента. Исторически сложилось так, что защитные барьеры в сфере генеративного искусственного интеллекта были преимущественно реактивными и бинарными, что часто создавало огромные трудности для пользователей при попытке определить рамки безопасного использования для их уникальных бизнес-задач. Понимая, что концепции безопасности и уместности во многом зависят от контекста применения, а предсказуемость и контроль являются ключевыми факторами для формирования доверия к технологиям Cohere, инженеры представили новую бета-функцию под названием Safety Modes.

Новые режимы безопасности предлагают разработчикам три различных варианта работы, чтобы максимально точно соответствовать операционным требованиям конкретного проекта. Режим STRICT, предназначенный для общего и корпоративного использования, обеспечивает дополнительный уровень безопасности путем строгого запрета на любые неприемлемые ответы или рекомендации и поощрения полного избегания всех потенциально чувствительных тем. Режим CONTEXTUAL, который теперь включен по умолчанию, разработан для более широкого спектра взаимодействий в развлекательных, творческих или образовательных целях.

Завершающим элементом августовского обновления стала публикация обновленной структуры ценообразования, которая прямо отражает существенные различия в вычислительной мощности и предназначении каждой из представленных моделей. Использование флагманской модели command — r-plus-08-2024 обойдется разработчикам в $2.50 за один миллион входных токенов, тогда как генерация миллиона выходных токенов будет стоить $10.00. В свою очередь, более легкая и аппаратно оптимизированная модель command — r-08-2024 предлагается по значительно более доступной цене: всего $0.15 за миллион входных токенов и $0.60 за миллион выходных токенов.