Датасет · Qwen
Бенчмарк для агентов по воссозданию приложений
Qwen/RecreationBench
250 тестовых задач на английском языке для оценки ИИ-агентов, которые изучают работу программ и создают их копии.
Что внутри
Бенчмарк от Qwen включает 250 задач по воссозданию приложений для Ubuntu, macOS, Windows, Android и веба. Внутри лежат текстовые описания и изображения на английском языке, взятые из отложенной тестовой выборки фреймворка RecreationWorld. Агент получает запрос, взаимодействует с запущенным эталонным приложением, изучает его поведение и пишет собственную реализацию.
Что можно сделать
- Оценка мультимодальных агентов для работы с интерфейсами (computer-use agents)
- Тестирование способностей LLM к обратной разработке и генерации кода приложений
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 36,6 тыс.
- Лайков
- 19
Как загрузить
from datasets import load_dataset
ds = load_dataset("Qwen/RecreationBench")