Датасет · ScaleAI
SWE-bench Pro: бенчмарк для код-агентов
ScaleAI/SWE-bench_Pro
642 задачи из реальных PR: агент правит репозиторий, а патч проверяют скрытые тесты.
Что внутри
Бенчмарк долгосрочных задач по разработке ПО из реальных pull request в 11 открытых репозиториях на Go, Python, JavaScript и TypeScript. В каждой задаче агенту дают репозиторий на базовом коммите и описание PR с требованиями и интерфейсами. Патч оценивают скрытыми fail-to-pass и pass-to-pass тестами в чистом контейнере; в конфиге V2 642 задачи.
Что можно сделать
- Оценка код-агентов на реальных PR
- Тестирование моделей patch generation
- Сравнение агентных фреймворков
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 40,7 тыс.
- Лайков
- 208
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("ScaleAI/SWE-bench_Pro")