Датасет · SWE-bench
Траектории SWE-smith для кодинг-агента
SWE-bench/SWE-smith-trajectories
5 017 траекторий SWE-agent + Claude 3.7 Sonnet, на которых дообучали Qwen 2.5 Coder Instruct.
Что внутри
Текстовый англоязычный датасет с 5 017 траекториями, сгенерированными SWE-agent и Claude 3.7 Sonnet на задачах из SWE-smith. На этих данных дообучали Qwen 2.5 Coder Instruct, получив SWE-agent-LM-32B. Модель достигла 40.2% на SWE-bench Verified без верификаторов и множественных попыток — по одной попытке на задачу. Метаданные указывают размер 10K<n<100K.
Что можно сделать
- Дообучить кодинг-агента или LoRA на агентных траекториях.
- Воспроизвести SWE-agent-LM-32B и его пайплайн.
- Оценить качество траекторий SWE-agent на задачах SWE-smith.
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 12,1 тыс.
- Лайков
- 82
Как загрузить
from datasets import load_dataset
ds = load_dataset("SWE-bench/SWE-smith-trajectories")