Датасет · Qwen
Бенчмарк world modeling для LLM-агентов
Qwen/AgentWorldBench
Оценка языковых world models по траекториям агентов и ground-truth наблюдениям из реальных сред.
Что внутри
Бенчмарк собран из реальных наблюдений за траекториями frontier-моделей на Tool Decathlon, Terminal-Bench 1.0/2.0 и OSWorld-Verified. Каждый пример paired с ground-truth observation из выполнения в среде, что позволяет reference-grounded scoring. Модальности tabular и text, язык en, размер 1K–10K.
Что можно сделать
- Оценить LLM-агента на предсказание последствий действий
- Проверить world modeling в агентной системе
- Сравнить модели по reference-grounded scoring
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 1,2 тыс.
- Лайков
- 110
Модели, обученные на нём
- unsloth/Qwen-AgentWorld-35B-A3B-GGUFГенерация текста 153,9 тыс.
- Qwen/Qwen-AgentWorld-35B-A3BГенерация текста 9,7 тыс.
- hotdogs/qwen35b-a3b-fable-sft-abliteratedГенерация текста 2,8 тыс.
- DhruvalLabs/Qwen-AgentWorld-35B-A3B-GGUFКартинка + текст 984
- gaoqianshen/Qwen-AgentWorld-35B-A3B-Q4_K_M-GGUFГенерация текста 765
- unsloth/Qwen-AgentWorld-35B-A3BГенерация текста 616
- cyankiwi/Qwen-AgentWorld-35B-A3B-AWQ-INT4Генерация текста 217
- cyankiwi/Qwen-AgentWorld-35B-A3B-AWQ-FP8Генерация текста 169
Как загрузить
from datasets import load_dataset
ds = load_dataset("Qwen/AgentWorldBench")