Датасет · UnipatAI
Бенчмарк для кодинг-агентов на апгрейдах репозиториев
UnipatAI/RoadmapBench
115 сложных задач по разработке из реальных обновлений open-source проектов на пяти языках программирования.
Что внутри
Бенчмарк включает 115 многошаговых задач на английском языке, взятых из 17 открытых репозиториев на Python, TypeScript, Go, Rust и C++. В каждой задаче агенту нужно реализовать сразу несколько взаимосвязанных функций, соответствующих реальному обновлению версии проекта. Помимо текста в метаданных отмечена модальность изображений.
Что можно сделать
- Оценка автономных ИИ-агентов для разработки ПО
- Тестирование LLM на долгосрочном планировании изменений в кодовой базе
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 56,9 тыс.
- Лайков
- 12
Как загрузить
from datasets import load_dataset
ds = load_dataset("UnipatAI/RoadmapBench")