Датасет · mrlbenchmarks
Бенчмарк здравого смысла для 136 языковых вариантов
mrlbenchmarks/global-piqa-nonparallel
Вопросы с выбором ответа для проверки понимания бытовой логики и культурных особенностей на редких языках.
Что внутри
Бенчмарк для проверки логики и здравого смысла, охватывающий 136 языковых разновидностей из 18 языковых семей и 24 систем письма (включая редкие, например амхарский и диалекты арабского). Внутри от 10 до 100 тысяч примеров в текстовом и табличном виде с изображениями. Более 350 исследователей из 65+ стран составили эти задания вручную, причём свыше половины вопросов затрагивают местную еду, традиции и культуру.
Что можно сделать
- Оценка мультиязычных LLM на понимание локального культурного контекста
- Тестирование моделей на редких и малоресурсных языках
- Сравнение мультимодальных и текстовых моделей в задачах multiple-choice
- Задачи
- Вопрос-ответ, multiple choice
- Языки
- acm, acq, aeb, afb, als, am, amh, apc и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 17,9 тыс.
- Лайков
- 43
Как загрузить
from datasets import load_dataset
ds = load_dataset("mrlbenchmarks/global-piqa-nonparallel")