К содержимому

Датасет · CohereLabs

Многоязычный бенчмарк диалоговых промптов от Cohere

CohereLabs/aya_evaluation_suite

26 750 открытых промптов на более чем 100 языках для оценки качества генерации текста.

Что внутри

Набор данных содержит 26 750 открытых диалоговых запросов для проверки качества работы языковых моделей. Часть примеров размечена людьми на 7 языках (английском, арабском, китайском, португальском, турецком, йоруба и телугу), а остальные получены машинным переводом отобранных промптов на 101 язык.

Что можно сделать

  • Оценка качества открытой генерации текста мультиязычными LLM
  • Сравнение моделей на редких и малоресурсных языках
Задачи
Генерация текста
Языки
afr, sqi, amh, ara, aze, bel, ben, bul и ещё 4
Размер
10K–100K записей
Скачиваний за месяц
2,9 тыс.
Лайков
55

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("CohereLabs/aya_evaluation_suite")