К содержимому

Датасет · mrlbenchmarks

Бенчмарк здравого смысла для 136 языковых вариантов

mrlbenchmarks/global-piqa-nonparallel

Вопросы с выбором ответа для проверки понимания бытовой логики и культурных особенностей на редких языках.

Что внутри

Бенчмарк для проверки логики и здравого смысла, охватывающий 136 языковых разновидностей из 18 языковых семей и 24 систем письма (включая редкие, например амхарский и диалекты арабского). Внутри от 10 до 100 тысяч примеров в текстовом и табличном виде с изображениями. Более 350 исследователей из 65+ стран составили эти задания вручную, причём свыше половины вопросов затрагивают местную еду, традиции и культуру.

Что можно сделать

  • Оценка мультиязычных LLM на понимание локального культурного контекста
  • Тестирование моделей на редких и малоресурсных языках
  • Сравнение мультимодальных и текстовых моделей в задачах multiple-choice
Задачи
Вопрос-ответ, multiple choice
Языки
acm, acq, aeb, afb, als, am, amh, apc и ещё 4
Размер
10K–100K записей
Скачиваний за месяц
17,9 тыс.
Лайков
43

Как загрузить

from datasets import load_dataset

ds = load_dataset("mrlbenchmarks/global-piqa-nonparallel")