Датасет · IntelligenceLab
Бенчмарк для долгих задач в терминале
IntelligenceLab/Long-Horizon-Terminal-Bench
LHTB проверяет, как LLM-агенты удерживают полезную работу в контейнерном терминале на сотнях шагов.
Что внутри
Long-Horizon Terminal-Bench — бенчмарк для LLM-агентов, которые работают в контейнерном терминале сотни шагов. В LHTB 2.0 — 77 задач, в LHTB 1.0 — 46; засчитываются soft solves с reward ≥ 0.95. Данные представлены в document, tabular и text, язык — английский, размер — менее 1K.
Что можно сделать
- Оценить агентную LLM на длинных terminal-задачах
- Сравнить контейнерные agent-системы по LHTB
- Проверить устойчивость агента к многошаговым сбоям
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 23,6 тыс.
- Лайков
- 143
Как загрузить
from datasets import load_dataset
ds = load_dataset("IntelligenceLab/Long-Horizon-Terminal-Bench")