Исправленный бенчмарк Terminal-Bench 2.0

Что внутри

Это версия бенчмарка Terminal-Bench 2.0, где пересмотрели инструкции и проверку задач. Исправления валидировали end-to-end внутри реальных образов задач; в этом раунде исправлено 6 задач, включая dna-insert, make-doom-for-mips и filter-js-from-html. Карточка также упоминает выпуск Terminal-Bench 2.1 и китайскую версию.

Что можно сделать

• оценка LLM-агентов на задачах в терминале
• проверка агентных систем на Terminal-Bench
• валидация грейдинга и среды задач

Как загрузить

from datasets import load_dataset

ds = load_dataset("zai-org/terminal-bench-2-verified")