Датасет · google-research-datasets
Бенчмарк Python-задач MBPP
google-research-datasets/mbpp
Около 1 000 Python-задач с описанием, решением и тестами для оценки генерации кода.
Что внутри
Бенчмарк Mostly Basic Python Problems содержит около 1 000 краудсорсинговых задач для начинающих: основы программирования, стандартная библиотека и т. п. У каждой задачи есть описание, эталонное решение и три автоматических теста; часть данных вручную проверена авторами. Язык — английский.
Что можно сделать
- Оценка LLM на генерации Python-кода
- Проверка code-модели по pass@k
- Сравнение SFT-моделей на бенчмарке
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 274,5 тыс.
- Лайков
- 276
Модели, обученные на нём
- mradermacher/DeepSeek-R1-Codegeneration-COT-GGUF 1,2 тыс.
- tmickleydoyle/ghost-typerГенерация текста 899
- mradermacher/Qwen2.5-Math-Coder-Distill-Phi-2-4.4K-MixMathCode-GGUF 655
- raghu1155/DeepSeek-R1-Codegeneration-COTГенерация текста 530
- quark28/mini-llm-classic-sftГенерация текста 254
- quark28/mini-llm-thinking-sftГенерация текста 247
- Robot-Haus/Qwen3.8-Flash-Next-oQ3.5e-fp16-mtpКартинка + текст 227
- AhmedLet/Qwen_0.5_python_codes_mbpp_GGUF 198
Как загрузить
from datasets import load_dataset
ds = load_dataset("google-research-datasets/mbpp")