Датасет · NTU-NLP-sg
Бенчмарк xCodeEval для генерации кода
NTU-NLP-sg/xCodeEval
Крупный мультиязычный бенчмарк для оценки code-LLM по исполнению программ, а не по совпадению текста.
Что внутри
xCodeEval — бенчмарк для задач с кодом: генерация, перевод, исправление, поиск и классификация. Он охватывает много языков программирования и оценивает решения по исполнению, а не только по лексическому совпадению. Размер — от 1 до 10 млн примеров; язык данных — код и английский.
Что можно сделать
- оценить LLM на генерации кода по execution-based метрикам
- проверить мультиязычный перевод кода
- протестировать поиск релевантных фрагментов кода
- Задачи
- Перевод, Разметка токенов, Поиск по текстам, Генерация текста, Классификация текста, Эмбеддинги
- Языки
- Код, Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 42,7 тыс.
- Лайков
- 85
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("NTU-NLP-sg/xCodeEval")