Датасет · benchmark-anon-2026
Бенчмарк сложных многоэтапных задач для кодинг-агентов
benchmark-anon-2026/RoadmapBench
115 реальных задач по обновлению версий open-source проектов на 5 языках программирования.
Что внутри
Бенчмарк на английском языке для оценки ИИ-агентов программирования на длинных горизонтах планирования. Содержит 115 задач из 17 open-source репозиториев на Python, TypeScript, Go, Rust и C++. Каждая задача основана на реальном обновлении версии проекта и требует реализации нескольких взаимосвязанных функций.
Что можно сделать
- Тестирование автономных кодинг-агентов на сложных задачах рефакторинга и развития кодовой базы
- Сравнение способности LLM удерживать контекст при работе с целым репозиторием
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 29,7 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("benchmark-anon-2026/RoadmapBench")