Script2Play-4B
модель для управления играми по кадрам с экрана
1 мин чтения
Script2Play-4B — это vision-language-action (мультимодальная языковая модель для действий) политика на базе Qwen3.5-4B-Base, обученная играть в видеоигры непосредственно по визуальному потоку с экрана. На вход модель получает один кадр и текстовую задачу, а на выходе выдает последовательность действий клавиатуры и мыши на следующие 200 миллисекунд. Модель обучена методом имитации поведения (behavior cloning) на демонстрациях в Minecraft и Roblox. Она пригодится исследователям и разработчикам интерактивных агентов и систем автономного прохождения игр.
Ключевые особенности
- Создана на базе архитектуры Qwen3.5-4B-Base
- Обучена на 150.3 часах верифицированных демонстраций (Minecraft и Roblox)
- Предназначена для генерации низкоуровневых команд мыши и клавиатуры
- Работает через стандартный OpenAI-совместимый эндпоинт в vLLM
Что можно сделать
- Запустить модель в качестве игрового агента для Minecraft или Roblox через vLLM
- Интегрировать модель в кастомные тестовые среды для проверки автономного прохождения
- Исследовать возможности vision-language-action моделей в задачах управления в реальном времени
Пример
Запуск сервера модели с помощью vLLM:
vllm serve PATH_TO_THIS_REPO --served-model-name script2play --trust-remote-code \
--max-model-len 8192 --max-num-batched-tokens 8192 --limit-mm-per-prompt '{"image":1,"video":0}' \
--attention-backend FLASHINFER --mm-encoder-attn-backend TORCH_SDPAПодробнее
Базовая модель: Qwen/Qwen3.5-4B-Base (около 4.54 млрд параметров)Обучение: 26.9 ч Minecraft и 123.4 ч Roblox (без использования человеческих данных и RL)
Интерфейс: совместимый с OpenAI эндпоинт через vLLM 0.26
Формат вывода: смещение мыши и нажатия клавиш за 200 мс










Комментарии