Датасет · princeton-nlp
SWE-bench: GitHub issues и патчи
princeton-nlp/SWE-bench
2 294 пары issue–pull request из Python-репозиториев для проверки решения GitHub-задач.
Что внутри
SWE-bench собирает 2 294 пары issue–pull request из 12 популярных Python-репозиториев. Система должна автоматически решать GitHub issue, а оценка идёт по unit-тестам, где поведение после PR служит эталонным решением. Набор выпущен вместе со статьёй «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?».
Что можно сделать
- Оценить coding-агента или LLM на реальных GitHub issues.
- Сравнить модели по прохождению unit-тестов после патча.
- Дообучить модель генерации патчей на парах issue–PR.
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 44,3 тыс.
- Лайков
- 157
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("princeton-nlp/SWE-bench")