Датасет · harborframework
Регулярно обновляемый бенчмарк Terminal-Bench
harborframework/terminal-bench
Компактный мультимодальный бенчмарк с версионированием для тестирования моделей на задачах в терминале.
Что внутри
Зеркало постоянно обновляемого бенчмарка Terminal-Bench, исходный код которого находится на GitHub. Датасет содержит менее 1 000 примеров и включает тексты, изображения и документы. Новые версии публикуются периодически в виде тегов в одном репозитории, а ветка main всегда указывает на последний релиз.
Что можно сделать
- Оценка способности ИИ-агентов и LLM работать в командной строке и терминале
- Сравнение разных версий моделей на едином регулярно обновляемом бенчмарке
- Тестирование мультимодальных агентов на задачах с документами и скриншотами
- Размер
- до 1K записей
- Скачиваний за месяц
- 206,2 тыс.
- Лайков
- 26
Как загрузить
from datasets import load_dataset
ds = load_dataset("harborframework/terminal-bench")