Датасет · xlangai
Бенчмарк для генерации кода DS-1000
xlangai/DS-1000
Упрощенный формат популярного тестового набора с задачами по программированию объемом до 10 тысяч примеров.
Что внутри
Внутри находятся текстовые задачи с кодом (включая оригинальный формат fill-in-the-middle / вставки фрагментов). Объем набора составляет от 1 до 10 тысяч примеров. Это переформатированная и упрощенная версия бенчмарка DS-1000, связанная с таблицей лидеров Eval-Arena.
Что можно сделать
- Оценка способности языковых моделей писать и дополнять код
- Сравнение кодовых LLM по метрикам Eval-Arena
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 7 тыс.
- Лайков
- 39
Как загрузить
from datasets import load_dataset
ds = load_dataset("xlangai/DS-1000")