К содержимому

Датасет · nuprl

Бенчмарк генерации кода на 22 языках

nuprl/MultiPL-E

Набор для оценки LLM в генерации кода: HumanEval и MBPP, переведённые на 22 языка программирования.

Что внутри

Датасет содержит текстовые задачи для генерации кода на 22 языках программирования. Он собран из бенчмарков OpenAI HumanEval и MBPP с помощью небольших компиляторов-переводчиков. Конфигурации названы SRCDATA-LANG, что позволяет выбирать исходный бенчмарк и целевой язык.

Что можно сделать

  • Оценивать LLM и кодовые модели на HumanEval/MBPP в разных языках
  • Сравнивать качество генерации кода между языками программирования
  • Проверять перенос модели на редкие языки из набора
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
30,5 тыс.
Лайков
71

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nuprl/MultiPL-E")