Датасет · bigcode
HumanEvalPack: код на шести языках
bigcode/humanevalpack
Бенчмарк HumanEval на шести языках программирования для трёх задач генерации и проверки кода.
Что внутри
HumanEvalPack расширяет OpenAI HumanEval на шесть языков и три задачи. Python-сплит полностью совпадает с оригинальным HumanEval, остальные переводы сделаны людьми с дополнительной очисткой. Языки: Python, JavaScript, Java, Go, C++ и Rust; размер — менее 1000 примеров.
Что можно сделать
- Оценка кодогенерации мультиязычной LLM
- Дообучение модели кода на переведённых задачах
- Сравнение Python и других языков в бенчмарке HumanEval
- Языки
- Код
- Размер
- до 1K записей
- Скачиваний за месяц
- 12,7 тыс.
- Лайков
- 95
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/humanevalpack")