Датасет · facebook
Многоязычный бенчмарк Belebele
facebook/belebele
Бенчмарк MRC с вопросами и 4 вариантами ответа на 122 языковых вариантах, включая малоресурсные.
Что внутри
Belebele — бенчмарк для оценки понимания прочитанного в формате multiple-choice. Вопросы привязаны к коротким пассажам из FLORES-200 и имеют четыре варианта ответа. Набор охватывает 122 языковых варианта — от высоко- до низкоресурсных языков; вопросы размечены людьми.
Что можно сделать
- Zero-shot оценка многоязычных LLM
- Сравнение mono- и multilingual моделей
- Тестирование NLU на низкоресурсных языках
- Задачи
- Вопрос-ответ, Zero-shot классификация, Классификация текста, multiple choice
- Языки
- af, am, Арабский, az, as, bm, bn, bo и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 65 тыс.
- Лайков
- 146
Модели, обученные на нём
- jondurbin/bagel-dpo-34b-v0.2Генерация текста 9,1 тыс.
- jondurbin/bagel-dpo-34b-v0.5Генерация текста 9 тыс.
- jondurbin/bagel-8b-v1.0Генерация текста 9 тыс.
- mradermacher/bagel-34b-v0.5-i1-GGUF 3,8 тыс.
- mradermacher/bagel-dpo-34b-v0.5-i1-GGUF 3,7 тыс.
- mradermacher/bagel-dpo-20b-v04-i1-GGUF 2,4 тыс.
- mradermacher/UNA-34Beagles-32K-bf16-v1-i1-GGUF 2 тыс.
- mradermacher/bagel-dpo-20b-v04-GGUF 1,9 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("facebook/belebele")