К содержимому

Датасет · xlangai

Бенчмарк для генерации кода DS-1000

xlangai/DS-1000

Упрощенный формат популярного тестового набора с задачами по программированию объемом до 10 тысяч примеров.

Что внутри

Внутри находятся текстовые задачи с кодом (включая оригинальный формат fill-in-the-middle / вставки фрагментов). Объем набора составляет от 1 до 10 тысяч примеров. Это переформатированная и упрощенная версия бенчмарка DS-1000, связанная с таблицей лидеров Eval-Arena.

Что можно сделать

  • Оценка способности языковых моделей писать и дополнять код
  • Сравнение кодовых LLM по метрикам Eval-Arena
Задачи
Генерация текста
Языки
Код
Размер
1K–10K записей
Скачиваний за месяц
7 тыс.
Лайков
39

Как загрузить

from datasets import load_dataset

ds = load_dataset("xlangai/DS-1000")