Датасет · princeton-nlp
300 GitHub-задач для проверки кода
princeton-nlp/SWE-bench_Lite
300 пар issue-PR из Python-репозиториев для проверки автоматического решения GitHub-задач.
Что внутри
SWE-bench Lite — подмножество SWE-bench с 300 тестовыми парами issue и pull request из 11 популярных Python-репозиториев. Оценка выполняется проверкой unit-тестов, где эталон — поведение после PR. Датасет выпущен в рамках статьи SWE-bench.
Что можно сделать
- Оценка систем автоматического решения GitHub issues
- Бенчмарк LLM-агентов для правок кода
- Проверка code-моделей на реальных Python-задачах
- Размер
- до 1K записей
- Скачиваний за месяц
- 59,3 тыс.
- Лайков
- 77
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("princeton-nlp/SWE-bench_Lite")