К содержимому

Датасет · UnipatAI

Бенчмарк для кодинг-агентов на апгрейдах репозиториев

UnipatAI/RoadmapBench

115 сложных задач по разработке из реальных обновлений open-source проектов на пяти языках программирования.

Что внутри

Бенчмарк включает 115 многошаговых задач на английском языке, взятых из 17 открытых репозиториев на Python, TypeScript, Go, Rust и C++. В каждой задаче агенту нужно реализовать сразу несколько взаимосвязанных функций, соответствующих реальному обновлению версии проекта. Помимо текста в метаданных отмечена модальность изображений.

Что можно сделать

  • Оценка автономных ИИ-агентов для разработки ПО
  • Тестирование LLM на долгосрочном планировании изменений в кодовой базе
Задачи
Генерация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
56,9 тыс.
Лайков
12

Как загрузить

from datasets import load_dataset

ds = load_dataset("UnipatAI/RoadmapBench")