Датасет · SWE-bench
SWE-bench Verified: 500 проверенных GitHub-задач
SWE-bench/SWE-bench_Verified
500 пар issue–pull request из Python-репозиториев для проверки решения GitHub-задач по unit-тестам.
Что внутри
Датасет содержит 500 тестовых пар issue–pull request из популярных Python-репозиториев; выборка вручную проверена на качество. Решение оценивается запуском unit-тестов, а поведение после PR служит эталоном. Это текстовая выборка для автоматического решения GitHub-issues.
Что можно сделать
- Проверка агентных систем и LLM на реальных GitHub-issues
- Оценка моделей code generation по unit-тестам
- Бенчмарк для пайплайнов автоматического исправления багов
- Размер
- до 1K записей
- Скачиваний за месяц
- 118,7 тыс.
- Лайков
- 203
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("SWE-bench/SWE-bench_Verified")