Датасет · CohereLabs
Многоязычный бенчмарк диалоговых промптов от Cohere
CohereLabs/aya_evaluation_suite
26 750 открытых промптов на более чем 100 языках для оценки качества генерации текста.
Что внутри
Набор данных содержит 26 750 открытых диалоговых запросов для проверки качества работы языковых моделей. Часть примеров размечена людьми на 7 языках (английском, арабском, китайском, португальском, турецком, йоруба и телугу), а остальные получены машинным переводом отобранных промптов на 101 язык.
Что можно сделать
- Оценка качества открытой генерации текста мультиязычными LLM
- Сравнение моделей на редких и малоресурсных языках
- Задачи
- Генерация текста
- Языки
- afr, sqi, amh, ara, aze, bel, ben, bul и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 2,9 тыс.
- Лайков
- 55
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/aya_evaluation_suite")