К содержимому

Датасет · xlangai

Закрытые классы задач для бенчмарка OSWorld V2

xlangai/osworld_v2_tasks

Официальные Python-классы с логикой настройки и оценки задач для тестирования компьютерных ИИ-агентов.

Что внутри

Набор включает менее 1 тысячи записей в текстовом и табличном форматах — это официальные файлы task_*.py для второй версии бенчмарка OSWorld. Доступ к репозиторию закрыт (gated), чтобы предотвратить утечку данных и не дать тестируемым агентам найти ответы или код проверки в открытом вебе во время выполнения задач. Загрузка осуществляется через утилиту huggingface_hub в связке с основным репозиторием на GitHub.

Что можно сделать

  • Оценка автономных GUI- и OS-агентов в реальных сценариях работы с ОС
  • Валидация моделей планирования действий без риска утечки ответов в сеть
  • Воспроизведение результатов на актуальном стандарте OSWorld V2
Размер
до 1K записей
Скачиваний за месяц
48 тыс.
Лайков
54
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("xlangai/osworld_v2_tasks")