qwen3d_points_dist
файнтюн Qwen-3D для поиска изменений в помещении по облаку точек
1 мин чтенияобновлено
Экспериментальная модель на базе Qwen-3D (3B) создана для детектирования изменений между исходным облаком точек комнаты и новым RGB-D кадром (изображение с глубиной). Она определяет, какие объекты были перемещены или удалены, и выдает ответ в формате JSON с указанием дистанции перемещения в метрах. Архитектура использует вокселизацию исходных точек и специальный воксельный энкодер, объединенный с визуальным трансформером базовой модели через 4D RoPE. Модель обучена с помощью LoRA (небольшой надстройки над базовой моделью) и пригодится исследователям в области пространственного интеллекта и робототехники для анализа изменений пространственного окружения.
Ключевые особенности
- Базируется на Qwen-3D (3B) и обучена на датасете vlm-change-detection-4k.
- Использует воксельный энкодер для кодирования точек и цвета из исходного облака точек.
- Применяет LoRA с рангом r=16 для адаптации весов LLM и кодировщика.
- Выдает структурированный JSON-ответ с действиями (сдвинут, удален) и метрикой расстояния.
Что можно сделать
- Применить для задач пространственного анализа и мониторинга изменений помещений по данным сенсоров.
- Сравнить исходную карту комнаты с новым RGB-D кадром в исследовательских пайплайнах.
- Интегрировать с кодом из ветки pointcloud-voxel-fusion репозитория spatial_llm.
Подробнее
Инициализация: katefgroup/Qwen-3D qwen3d_3b.pthОбучение: LoRA r=16, alpha=32, 15 000 итераций на 1x NVIDIA RTX 5090 (~6.5 ч)
Ограничения: короткий первый запуск, энкодер обучен с нуля, крупные комнаты теряют часть вокселей из-за лимита в 6000 токенов
Лицензия: CC BY-NC 4.0 (некоммерческое использование)










Комментарии