SuperGlance-9B-Stage2
мультимодальная VLM для анализа изображений и дорожных сцен
2 мин чтения
Модель анализирует изображения и отвечает на вопросы по их содержимому: от распознавания текста и графиков до пространственного расположения объектов и ситуаций на дороге. В основе лежит Qwen/Qwen3.5-9B (9.65B параметров), в веса которой вмерджены две последовательные стадии LoRA (адаптеры дообучения). В отличие от базовой модели, эта версия целенаправленно прокачана на множественном выборе, подсчёте объектов и данных автономного вождения, служа стартовой точкой для дальнейшего обучения SuperGlance-9B. Подойдёт разработчикам и исследователям мультимодальных систем, которым важны пространственное восприятие и анализ дорожной обстановки.
Ключевые особенности
- Двухэтапное обучение: объединяет две стадии адаптации LoRA, влитые напрямую в веса исходной модели без изменения остальных тензоров.
- Широкий охват визуальных задач: Stage 1 включает 1 158 150 вопросов с множественным выбором на основе датасетов SAT, GQA, TallyQA, ChartQA, AI2D, TextVQA, OpenImages и SpatialSense.
- Фокус на дорожных сценах: Stage 2 расширена до 1 240 040 вопросов за счёт добавления 124 378 примеров из набора DriveLM-nuScenes.
- Стандартная совместимость: загружается через библиотеку
transformersтем же способом, что и оригинальная Qwen3.5-9B.
Что можно сделать
- Использовать в прототипах систем анализа дорожных сцен и ассистентов водителя на базе вопросов из DriveLM-nuScenes.
- Применять для извлечения данных из диаграмм, документов и сцен с большим числом объектов (задачи уровня ChartQA, TextVQA и TallyQA).
- Взять за основу для дальнейшего дообучения методом SFT или RL (обучение с подкреплением) под собственные визуально-текстовые задачи.
Пример
from transformers import AutoModelForImageTextToText
model = AutoModelForImageTextToText.from_pretrained("pei2333/SuperGlance-9B-Stage2")
Подробнее
Архитектура и размер: 9.65B параметров, база Qwen/Qwen3.5-9B (Apache-2.0).Детали мерджа: каждая стадия объединена по формуле W′ = round_bf16(W + 2.0 · B·A).
Обучение: Stage 1 — 500 000 выборок (каждый вопрос в двух порядках вариантов ответа) + 13 текстовых QA-датасетов; Stage 2 — 192 000 выборок.
Ограничения: условия релиза и лицензирования находятся на стадии определения (в данных использован DriveLM-nuScenes под CC BY-NC-SA 4.0).










Комментарии