GameDojo-4B
ИИ-агент для прохождения видеоигр
1 мин чтения
GameDojo-4B — это специализированная мультимодальная нейросеть (VLM), обученная управлять персонажами в компьютерных играх. Она анализирует игровой экран и контекст задачи, выдавая последовательность команд для клавиатуры и мыши. Каждый генерируемый блок действий охватывает 200 мс игрового процесса. Модель создана исследователями на базе архитектуры Qwen3.5-4B и обучена на сбалансированном датасете игровых сессий в 2D и 3D средах.
Ключевые особенности
- Реальное управление: генерирует точные команды мыши и клавиатуры для сложных игровых ситуаций.
- Базовая модель: построена на базе эффективной языковой модели Qwen3.5-4B с поддержкой работы с изображениями.
- Широкое покрытие: обучена на 120 игровых босс-энкаунтерах различной сложности.
- Формат BF16: распространяется в весах Safetensors с поддержкой стандартных библиотек.
Что можно сделать
- Тестирование агентов: запустить модель в качестве автономного игрока в поддерживаемых средах GameDojo.
- Исследования CUA: изучить возможности компьютерного управления (computer-use) в динамичных симуляциях.
- Интеграция с Transformers: подключить чекпоинт в собственные пайплайны генерации действий через Hugging Face
transformers.
Пример
import torch
from transformers import AutoProcessor, Qwen3_5ForConditionalGeneration
repo_id = "THUSI-Lab/GameDojo-4B"
processor = AutoProcessor.from_pretrained(repo_id)
model = Qwen3_5ForConditionalGeneration.from_pretrained(
repo_id, dtype=torch.bfloat16, device_map="auto"
).eval()Подробнее
Базовая модель: Qwen/Qwen3.5-4BПараметры: 4.54 млрд
Обучение: Supervised fine-tuning на 240 часах геймплея GameDojo-Data
Веса: BF16 Safetensors










Комментарии