Датасет · livecodebench
Бенчмарк генерации кода LiveCodeBench
livecodebench/code_generation_lite
Обновляемый бенчмарк для генерации кода: задачи и проверка решений.
Что внутри
Это временно обновляемый бенчмарк для генерации кода. В карточке есть ссылка на домашнюю страницу проекта, но нет подробностей о составе и формате. Размер в метаданных — меньше 1K примеров.
Что можно сделать
- Оценка LLM на задачах генерации кода
- Проверка кодовых моделей и агентов
- Сравнение версий модели на обновляемом бенчмарке
- Размер
- до 1K записей
- Скачиваний за месяц
- 89,5 тыс.
- Лайков
- 128
Модели, обученные на нём
- bartowski/agentica-org_DeepCoder-14B-Preview-GGUFГенерация текста 3,5 тыс.
- bartowski/NousResearch_NousCoder-14B-GGUFГенерация текста 2,7 тыс.
- bartowski/agentica-org_DeepCoder-1.5B-Preview-GGUFГенерация текста 2,6 тыс.
- mradermacher/NousCoder-14B-i1-GGUF 1,9 тыс.
- mradermacher/Kvark-Sparkle-1.0-27B-i1-GGUF 1,9 тыс.
- exdysa/NousCoder-14B-Q4_K_M-layersГенерация текста 1,3 тыс.
- mradermacher/Kvark-Sparkle-1.0-27B-GGUF 1,3 тыс.
- agentica-org/DeepCoder-14B-PreviewГенерация текста 941
Как загрузить
from datasets import load_dataset
ds = load_dataset("livecodebench/code_generation_lite")