Новая структура для оценки голосовых агентов (EVA)

24 марта 2026 года был представлен EVA-базовая структура для оценки голосовых агентов, разработанная для комплексного анализа разговорных взаимодействий.

EVA оценивает разговоры на основе двух ключевых метрик: точности (EVA? A) и качества опыта общения (EVA? X).

Новая структура выявляет существующий компромисс между задачами и взаимодействием, устраняя разрозненность предыдущих методов оценки.

EVA позволяет одновременно оценивать успешность выполнения задач и качество взаимодействия, что поможет улучшить разработку голосовых агентов.

Структура нацелена на преодоление недостатков существующих методов, которые оценивают компоненты в изоляции.

Понимание компромисса между точностью и качеством опыта общения может привести к более эффективным и удовлетворительным агентов.

Существующие оценки голосовых агентов зачастую делят их функции на отдельные категории, что не отражает сложность взаимодействия.

EVA представлена с первичной базой данных из 50 сценариев для авиаперевозок, включая изменения рейсов и отмены.

В ходе исследования было установлено, что агенты, хорошо справляющиеся с задачами, часто предоставляют менее удовлетворительный пользовательский опыт.

Планируется выпуск следующих доменов для оценки, расширяющих базу данных EVA.

Разработчики и исследователи смогут использовать EVA для улучшения своих голосовых агентств в различных областях.

Ожидается, что EVA станет стандартом для оценки взаимодействий с голосовыми системами.