Датасет · datacurve
DeepSWE: бенчмарк кодовых агентов
datacurve/deep-swe
113 оригинальных долгих задач по разработке ПО на TypeScript, Go, Python, JavaScript и Rust.
Что внутри
Бенчмарк для проверки frontier-агентов на оригинальных long-horizon задачах из активных open-source репозиториев. Включает 113 задач на TypeScript, Go, Python, JavaScript и Rust с изолированными окружениями и программными верификаторами. Задачи используют формат Harbor task с метаданными репозитория, коммита, языка и лимитов ресурсов.
Что можно сделать
- Оценка coding-агентов на реальных репозиториях
- Сравнение моделей в long-horizon SWE
- Проверка агентных фреймворков
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 9,7 тыс.
- Лайков
- 97
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("datacurve/deep-swe")