GeoReader-Qwen2.5-VL-3B-MindCube
визуальная языковая модель для геопространственного анализа
1 мин чтенияобновлено
Модель GeoReader-Qwen2.5-VL-3B-MindCube представляет собой полный чекпоинт (набор весов) на базе Qwen2.5-VL-3B-Instruct, обученный для решения задач пространственного восприятия и геометрии. Архитектура объединяет визуально-языковую модель (VLM), замороженный геометрический Reader, адаптер и гейт. Решение демонстрирует высокую точность на датасете MindCube-Tiny и требует специализированного загрузчика GeoReader вместо стандартного вызова Transformers AutoModel. Модель пригодится исследователям и разработчикам, работающим с пространственным анализом изображений и компьютерным зрением.
Ключевые особенности
- Высокая точность: точность на MindCube-Tiny составляет 87.14% (915 из 1050 задач).
- Геометрический анализ: детальная оценка вращения (60.5%), относительных положений (93.83%) и окружающих объектов (92.4%).
- Гибридная архитектура: сочетает базовую VLM Qwen2.5-VL-3B с отдельным геометрическим Reader и адаптером.
- Восстановленная геометрия: обучение выполнено с использованием настроек DA3 Nested Giant-Large 1.1 для многоракурсного вывода.
Что можно сделать
- Анализ пространственных соотношений: оценивать взаимное расположение объектов и их ориентацию по изображениям.
- Тестирование точности: проводить оценку модели на датасете MindCube-Tiny с использованием комплектных скриптов.
- Исследовательские эксперименты: изучать работу геометрических адаптеров и гейтов в VLM-архитектурах.
Пример
Для запуска требуется использовать специальный загрузчик GeoReader вместо стандартных методов Hugging Face, а также подавать вопросы с ограничением ответа в 128 токенов.
Подробнее
Базовая модель: Qwen/Qwen2.5-VL-3B-InstructМетрики: точность MindCube-Tiny 87.14% (915/1,050)
Особенности: требует специальный лоадер GeoReader вместо AutoModel
Данные: обучено на пакете данных MindCube DA3










Комментарии