Diogenes Research Models Archive
набор весов для анализа игр и действий
2 min readupdated
Исследовательский архив от команды DiogenesLab (CuddlerAI), объединяющий 13 вариантов LoRA-адаптеров (небольших надстроек над базовой моделью) для мультимодальной модели Qwen3-VL-4B-Instruct и 12 обученных голов IDM (Inverse Dynamics Model — моделей, определяющих действия игрока по кадрам) на базе визуального энкодера DINOv2 ViT-S/14. Репозиторий представляет собой исторический срез закрытых экспериментов по наблюдению за видеоиграми на датасетах Gaming500 и D2E-480p. Модели не являются готовым коммерческим продуктом и не содержат встроенного инференса, но пригодятся исследователям ИИ-агентов для воспроизведения опытов и анализа поведения в игровых средах.
Ключевые особенности
- 13 LoRA-адаптеров для Qwen3-VL-4B-Instruct: имеют ранг 32 и сохраняют оригинальные шаблоны чата, настройки токенизатора и процессора изображений.
- 12 голов инверсной динамики (IDM): содержат по 58 тензоров в формате Safetensors и работают поверх замороженного энкодера DINOv2 ViT-S/14, анализируя некаузальное окно из пяти последовательных кадров.
- Проверка целостности: все 25 наборов весов прошли побайтовую сверку контрольных сумм SHA-256 и задокументированы в файлах MANIFEST.jsonl.
- Разные форматы разметки действий: варианты на базе Gaming500 используют абсолютные разности координат указателя, а три модели idm-d2e-* обучены на сырых дельтах HID и явной сетке времени кадров.
Что можно сделать
- Воспроизвести эксперименты с игровыми агентами: подключить выбранный LoRA-адаптер к базовой Qwen/Qwen3-VL-4B-Instruct через библиотеку PEFT для анализа игровых сцен.
- Восстанавливать действия по видео: собрать архитектуру IDM по опубликованному коду Diogenes, подгрузить энкодер facebook/dinov2-small и веса
head.safetensorsдля предсказания нажатий и движений мыши по 5 кадрам. - Сравнить рецепты обучения: изучить конфигурационные файлы
config.jsonиadapter_config.jsonразных вариантов, включая модели, обученные на дистилляции от Qwen и гибридной разметке.
Пример
Репозиторий не поддерживает автоматический запуск «из коробки» — нужный вариант необходимо выбрать вручную по директории: для LoRA загрузить базовую модель Qwen/Qwen3-VL-4B-Instruct и подключить папку из adapters// через PEFT, а для IDM — собрать модель по конфигу из idm//config.json и кода проекта Diogenes-Archive, добавив замороженные веса facebook/dinov2-small.
Подробнее
Базовые модели: Qwen/Qwen3-VL-4B-Instruct и facebook/dinov2-small (замороженные веса энкодера и словари токенизатора скачиваются отдельно).Бенчмарки: новые замеры качества не проводились, часть чекпоинтов остановлена до достижения целевого шага.
Ограничения: строгий некоммерческий статус (CC BY-NC 4.0), отсутствуют метки оценки Gemini и гарантии обобщающей способности.










Comments