К содержимому

Датасет · benchmark-anon-2026

Бенчмарк сложных многоэтапных задач для кодинг-агентов

benchmark-anon-2026/RoadmapBench

115 реальных задач по обновлению версий open-source проектов на 5 языках программирования.

Что внутри

Бенчмарк на английском языке для оценки ИИ-агентов программирования на длинных горизонтах планирования. Содержит 115 задач из 17 open-source репозиториев на Python, TypeScript, Go, Rust и C++. Каждая задача основана на реальном обновлении версии проекта и требует реализации нескольких взаимосвязанных функций.

Что можно сделать

  • Тестирование автономных кодинг-агентов на сложных задачах рефакторинга и развития кодовой базы
  • Сравнение способности LLM удерживать контекст при работе с целым репозиторием
Задачи
Генерация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
29,7 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("benchmark-anon-2026/RoadmapBench")