Датасет · openai
HumanEval: 164 задачи по программированию
openai/openai_humaneval
Бенчмарк из 164 Python-задач с сигнатурами, докстрингами и юнит-тестами для проверки генерации кода.
Что внутри
Набор содержит 164 задачи по программированию на Python: сигнатуру функции, докстринг, тело и несколько юнит-тестов. Задачи написаны вручную, чтобы не попасть в обучающие данные моделей генерации кода; естественный текст в комментариях на английском. Это бенчмарк OpenAI HumanEval для оценки генерации кода.
Что можно сделать
- Проверка LLM на генерацию Python-кода
- Оценка pass@k для кодовых моделей
- Сравнение дообученных моделей на HumanEval
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 256,4 тыс.
- Лайков
- 416
Модели, обученные на нём
- mradermacher/DPO-trained-Qwen2.5-Python-Coder-7B-i1-GGUF 3,8 тыс.
- mradermacher/DPO-trained-Qwen2.5-Python-Coder-7B-GGUF 1,4 тыс.
- mradermacher/Atomight-V2.1-0.5B-Inference-i1-GGUFГенерация текста 670
- ranjanrajib/DPO-trained-Qwen2.5-Python-Coder-7BГенерация текста 520
- rico03/Qwopus-GLM-9B-DualReason-Distilled-GGUFГенерация текста 322
- Robot-Haus/Qwen3.8-Flash-Next-oQ3.5e-fp16-mtpКартинка + текст 227
- mradermacher/Atomight-V2.1-0.5B-Inference-GGUFГенерация текста 216
- avtc/GLM-4.5-Air-GPTQMODEL-W4A16Генерация текста 189
Как загрузить
from datasets import load_dataset
ds = load_dataset("openai/openai_humaneval")