Датасет · xlangai
Закрытые классы задач для бенчмарка OSWorld V2
xlangai/osworld_v2_tasks
Официальные Python-классы с логикой настройки и оценки задач для тестирования компьютерных ИИ-агентов.
Что внутри
Набор включает менее 1 тысячи записей в текстовом и табличном форматах — это официальные файлы task_*.py для второй версии бенчмарка OSWorld. Доступ к репозиторию закрыт (gated), чтобы предотвратить утечку данных и не дать тестируемым агентам найти ответы или код проверки в открытом вебе во время выполнения задач. Загрузка осуществляется через утилиту huggingface_hub в связке с основным репозиторием на GitHub.
Что можно сделать
- Оценка автономных GUI- и OS-агентов в реальных сценариях работы с ОС
- Валидация моделей планирования действий без риска утечки ответов в сеть
- Воспроизведение результатов на актуальном стандарте OSWorld V2
- Размер
- до 1K записей
- Скачиваний за месяц
- 48 тыс.
- Лайков
- 54
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("xlangai/osworld_v2_tasks")