К содержимому

Датасет · harborframework

Регулярно обновляемый бенчмарк Terminal-Bench

harborframework/terminal-bench

Компактный мультимодальный бенчмарк с версионированием для тестирования моделей на задачах в терминале.

Что внутри

Зеркало постоянно обновляемого бенчмарка Terminal-Bench, исходный код которого находится на GitHub. Датасет содержит менее 1 000 примеров и включает тексты, изображения и документы. Новые версии публикуются периодически в виде тегов в одном репозитории, а ветка main всегда указывает на последний релиз.

Что можно сделать

  • Оценка способности ИИ-агентов и LLM работать в командной строке и терминале
  • Сравнение разных версий моделей на едином регулярно обновляемом бенчмарке
  • Тестирование мультимодальных агентов на задачах с документами и скриншотами
Размер
до 1K записей
Скачиваний за месяц
206,2 тыс.
Лайков
26

Как загрузить

from datasets import load_dataset

ds = load_dataset("harborframework/terminal-bench")