Qwen3-VL-8B InteriorGS
навигация камеры в 3D-сценах с помощью VLM
2 мин чтенияобновлено
Файнтюн мультимодальной модели Qwen3-VL-8B-Instruct (8.77B параметров) от автора yinbq, обученный для активной пространственной навигации внутри помещений датасета InteriorGS. Модель получает текущее изображение с камеры, её координаты и пространственное задание, а на выходе выдаёт последовательность команд движения, чтобы занять нужный ракурс. В отличие от базовой модели, этот вариант дообучен с подкреплением — RL (обучение через вознаграждение за правильные шаги) по алгоритму PPO — и ориентируется в дистанции до объектов, перекрытиях и композиции кадра. Пригодится исследователям embodied AI (воплощённого ИИ), 3D-навигации и автоматического выбора ракурсов в виртуальных интерьерах.
Ключевые особенности
- Понимает сложные пространственные задачи: дистанция до объекта, попадание предметов в кадр, перекрытия (occlusion), проективные отношения, доля занимаемого экрана и равноудалённость.
- Работает в многошаговом диалоговом режиме (до 12 ходов), получая на каждом шаге новый вид с камеры и её позу с сохранением полной истории.
- Выдаёт дискретные команды управления внутри тега
(поддерживается несколько действий за ход):move_forward,move_backward,move_left,move_right,turn_left,turn_right. - Веса сконвертированы из fp32 в формат
bf16без изменения токенизатора, процессора и шаблона чата Qwen3-VL.
Что можно сделать
- Подключить модель к симулятору помещений InteriorGS для автоматического поиска ракурсов с заданной композицией объектов.
- Использовать как базового агента навигации в 3D-интерьерах, где требуется пошагово перемещать камеру по визуальной обратной связи.
- Сравнить качество пространственного планирования после SFT и PPO относительно исходной
Qwen3-VL-8B-Instruct.
Пример
import torch
from transformers import AutoProcessor, Qwen3VLForConditionalGeneration
repo = "yinbq/qwen3vl8b-interiorgs-reward-rw_s2tcsw3_100-bf16"
processor = AutoProcessor.from_pretrained(repo)
model = Qwen3VLForConditionalGeneration.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
Подробнее
Обучение: SFT на траекториях от Qwen3-VL-8B-Instruct, затем RL (PPO с пошаговой оценкой, seed 20261021, чекпоинт шага 100).Метрики (InteriorGS v10, greedy, success rate): validation (413 задач) — 53.75%, test (292 задачи) — 47.60%, всего (705 задач) — 51.21%.
Инференс: шаблон чата без режима рассуждений (
no_think), temperature=0, top_p=1; нечитаемый ответ засчитывается как проваленный шаг.Совместимость: требуется версия
transformers с поддержкой Qwen3-VL (проверено на 4.57).









Комментарии