Датасет · princeton-nlp
SWE-bench Verified: 500 GitHub-задач
princeton-nlp/SWE-bench_Verified
500 проверенных вручную пар issue–pull request из Python-репозиториев для оценки автоматического решения GitHub-задач.
Что внутри
SWE-bench Verified — подмножество из 500 примеров тестового набора SWE-bench, проверенных людьми на качество. Набор содержит пары «issue — pull request» из популярных Python-репозиториев. Системы должны автоматически решать GitHub-issue, а оценка идёт по юнит-тестам и поведению после PR как эталонному решению.
Что можно сделать
- Бенчмарк LLM-агентов для решения GitHub issue
- Оценка кодовых агентов на Python-репозиториях
- Проверка моделей после SFT на SWE-задачах
- Размер
- до 1K записей
- Скачиваний за месяц
- 172,2 тыс.
- Лайков
- 411
Модели, обученные на нём
- bartowski/NadevA23_Kronumos-Kairos-v2-GGUFГенерация текста 1,2 тыс.
- mradermacher/Kronumos-Kairos-v2-i1-GGUFОбучение с подкреплением 1 тыс.
- mradermacher/next-70b-i1-GGUFГенерация текста 802
- Kronumos/Kronumos-Kairos-v2Генерация текста 517
- thelamapi/next-70b-i1-GGUFГенерация текста 443
- Kronumos/Kronumos-14B-KairosГенерация текста 391
- mradermacher/Kronumos-Kairos-v2-GGUFОбучение с подкреплением 336
- mradermacher/next-70b-GGUFГенерация текста 209
Как загрузить
from datasets import load_dataset
ds = load_dataset("princeton-nlp/SWE-bench_Verified")