К содержимому

Датасет · Qwen

Бенчмарк для агентов по воссозданию приложений

Qwen/RecreationBench

250 тестовых задач на английском языке для оценки ИИ-агентов, которые изучают работу программ и создают их копии.

Что внутри

Бенчмарк от Qwen включает 250 задач по воссозданию приложений для Ubuntu, macOS, Windows, Android и веба. Внутри лежат текстовые описания и изображения на английском языке, взятые из отложенной тестовой выборки фреймворка RecreationWorld. Агент получает запрос, взаимодействует с запущенным эталонным приложением, изучает его поведение и пишет собственную реализацию.

Что можно сделать

  • Оценка мультимодальных агентов для работы с интерфейсами (computer-use agents)
  • Тестирование способностей LLM к обратной разработке и генерации кода приложений
Задачи
Генерация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
36,6 тыс.
Лайков
19

Как загрузить

from datasets import load_dataset

ds = load_dataset("Qwen/RecreationBench")