Датасет · bigcode
Бенчмарк для генерации и дополнения кода
bigcode/bigcodebench
1 140 задач для проверки моделей на генерацию кода по инструкциям и дополнение по docstring.
Что внутри
BigCodeBench содержит два варианта: Complete — дополнение кода по структурированным docstring, и Instruct — генерация кода по инструкциям на естественном языке. В каждом варианте по 1 140 задач, в среднем 5,6 тест-кейса и покрытие около 99%; язык — код, модальность text. В карточке также приведены средние длины промптов, но формат файлов не описан.
Что можно сделать
- Оценка code LLM на генерации по инструкциям
- Проверка моделей автодополнения кода
- Сравнение code-моделей на BigCodeBench-Instruct/Complete
- Языки
- Код
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 178,9 тыс.
- Лайков
- 98
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/bigcodebench")