Датасет · nebius
SWE-rebench: задачи из GitHub для SWE-агентов
nebius/SWE-rebench
Крупный набор реальны�� задач из GitHub для обучения и деконтаминированной оценки LLM-агентов в разработке.
Что внутри
SWE-rebench — крупномасштабный датасет для обучения и оценки LLM-агентов в software engineering. Он построен на базе SWE-bench-extra и автоматического пайплайна, который непрерывно извлекает реальные интерактивные SWE-задачи из GitHub. В карточке указано, что данные предназначены для деконтаминированной оценки; подробности — в статье SWE-rebench.
Что можно сделать
- Обучить LLM-агента решать GitHub-issue и писать патчи
- Проверить SWE-агента на деконтаминированной оценке
- Собрать SFT-данные для агентных циклов разработки
- Задачи
- Другое
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 58,8 тыс.
- Лайков
- 79
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nebius/SWE-rebench")