Датасет · nuprl
Бенчмарк генерации кода на 22 языках
nuprl/MultiPL-E
Набор для оценки LLM в генерации кода: HumanEval и MBPP, переведённые на 22 языка программирования.
Что внутри
Датасет содержит текстовые задачи для генерации кода на 22 языках программирования. Он собран из бенчмарков OpenAI HumanEval и MBPP с помощью небольших компиляторов-переводчиков. Конфигурации названы SRCDATA-LANG, что позволяет выбирать исходный бенчмарк и целевой язык.
Что можно сделать
- Оценивать LLM и кодовые модели на HumanEval/MBPP в разных языках
- Сравнивать качество генерации кода между языками программирования
- Проверять перенос модели на редкие языки из набора
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 30,5 тыс.
- Лайков
- 71
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nuprl/MultiPL-E")