Датасет · tasksource
Облегчённая версия бенчмарка MMLU без дубликатов
tasksource/mmlu
Очищенная и быстрая версия известного бенчмарка MMLU на английском языке для оценки знаний языковых моделей.
Что внутри
Это перепакованная версия классического бенчмарка MMLU (hendrycks_test) на английском языке, из которой убрали вспомогательный обучающий набор (auxiliary train). Благодаря отсутствию дублирующихся данных размер сократился со 162 МБ до 7 МБ при объеме от 10 до 100 тысяч примеров. Данные предназначены для задач множественного выбора, классификации и ответов на вопросы.
Что можно сделать
- Быстрая оценка эрудиции и общих знаний языковых моделей по десяткам дисциплин
- Интеграция в пайплайны автоматического тестирования LLM без лишней нагрузки на диск и память
- Задачи
- Классификация текста, multiple choice, Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 30,8 тыс.
- Лайков
- 37
Модели, обученные на нём
- sileod/deberta-v3-base-tasksource-nliZero-shot классификация 8 тыс.
- sileod/deberta-v3-large-tasksource-nliZero-shot классификация 1,8 тыс.
- TheBloke/Manticore-13B-GGUFГенерация текста 852
- mradermacher/manticore-13b-v2-i1-GGUF 827
- TheBloke/Manticore-13B-GPTQГенерация текста 242
- sileod/deberta-v3-xsmall-tasksource-nliZero-shot классификация 240
- openaccess-ai-collective/manticore-13bГенерация текста 225
- mradermacher/manticore-13b-v2-GGUF 198
Как загрузить
from datasets import load_dataset
ds = load_dataset("tasksource/mmlu")