К содержимому

Датасет · CohereLabs

Мультиязычный бенчмарк из экзаменационных тестов

CohereLabs/include-base-44

22 637 вопросов с четырьмя вариантами ответа на 44 языках для оценки знаний и логики LLM.

Что внутри

В наборе собрано 22 637 текстовых тестовых вопросов (MCQ) на 44 языках, включая албанский, арабский, армянский, азербайджанский, белорусский и бенгальский. Задания извлечены из реальных академических и профессиональных экзаменов и охватывают 57 различных тем.

Что можно сделать

  • Оценка знаний и логических способностей мультиязычных LLM
  • Тестирование моделей на языках с небольшим количеством ресурсов
  • Сравнение качества ответов языковых моделей в реальной языковой среде
Задачи
multiple choice
Языки
sq, Арабский, hy, az, be, bn, eu, bg и ещё 4
Размер
10K–100K записей
Скачиваний за месяц
14,7 тыс.
Лайков
53

Как загрузить

from datasets import load_dataset

ds = load_dataset("CohereLabs/include-base-44")