Датасет · ikala
Тайваньский бенчмарк TMMLU+ по 66 предметам
ikala/tmmluplus
Вопросы с вариантами ответов на традиционном китайском по 66 школьным и профессиональным предметам для проверки LLM.
Что внутри
Датасет содержит задачи question-answering на традиционном китайском языке, охватывающие 66 предметов — от школьных до профессиональных. По карточке, он примерно в шесть раз больше TMMLU и лучше сбалансирован; версия v1.1 улучшает качество бенчмарка. Контекст в основном отражает языковые, образовательные и профессиональные реалии Тайваня.
Что можно сделать
- Оценивать LLM на традиционном китайском
- Сравнивать модели по 66 предметам
- Проверять knowledge benchmarks
- Задачи
- Вопрос-ответ
- Языки
- Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 5,4 тыс.
- Лайков
- 242
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("ikala/tmmluplus")