Датасет · zai-org
Мультиязычный бенчмарк генерации кода
zai-org/humaneval-x
820 задач с тестами на Python, C++, Java, JavaScript и Go для оценки генерации кода.
Что внутри
HumanEval-X — бенчмарк для проверки мультиязычных возможностей моделей, генерирующих код. Он содержит 820 вручную созданных задач с тестовыми случаями. Языки: Python, C++, Java, JavaScript и Go.
Что можно сделать
- Оценка code-моделей по pass@k
- Сравнение мультиязычной генерации кода
- Проверка моделей после SFT
- Задачи
- Генерация текста
- Языки
- Код
- Скачиваний за месяц
- 4,6 тыс.
- Лайков
- 97
Как загрузить
from datasets import load_dataset
ds = load_dataset("zai-org/humaneval-x")