Датасет · MiniMaxAI
Бенчмарк следования инструкциям для кодинг-агентов
MiniMaxAI/OctoCodingBench
Английский бенчмарк проверяет, соблюдает ли кодинг-агент правила при работе с репозиторием.
Что внутри
OctoCodingBench — текстовый бенчмарк для агентного кодинга. Он оценивает scaffold-aware следование инструкциям в задачах, привязанных к репозиторию. В карточке отмечено, что существующие бенчмарки вроде SWE-bench проверяют выполнение задачи, но не соблюдение правил агентом.
Что можно сделать
- Проверить кодинг-агент на следование правилам
- Сравнить агентные системы по качеству инструкций
- Оценить scaffold-aware поведение модели
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 556
- Лайков
- 457
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("MiniMaxAI/OctoCodingBench")