Датасет · ServiceNow-AI
EVA: оценка голосовых агентов по точности и опыту
ServiceNow-AI/eva
Фреймворк и данные для оценки многотуровых голосовых диалогов по точности и естественности.
Что внутри
EVA — открытый фреймворк оценки разговорных голосовых агентов. Он оценивает завершённые многотуровые устные диалоги по двум измерениям: EVA-A (правильность и верность выполнения задачи) и EVA-X (естественность, краткость и уместность для голоса). Данные текстовые, на английском; размер — менее 1 тыс. примеров.
Что можно сделать
- Проверка голосового ассистента по EVA-A/EVA-X
- Оценка multi-turn spoken dialogue systems
- Бенчмарк для ASR+LLM пайплайна
- Задачи
- Генерация текста, Другое
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 137
- Лайков
- 71
Как загрузить
from datasets import load_dataset
ds = load_dataset("ServiceNow-AI/eva")