SenseNova-Loop-9B Vision Encoder
выделенный визуальный модуль для мультимодальных исследований
2 мин чтенияобновлено
Репозиторий содержит визуальную башню (vision tower) и визуальный мерджер (visual merger), извлеченные из модели SenseNova-Loop-9B. Полная языковая модель или мультимодальный ассистент в комплект не входят, сохранены все оригинальные имена тензоров. Инструмент ориентирован на исследователей, изучающих архитектуру Qwen3.5 и работу визуальных эмбеддингов.
Ключевые особенности
- Архитектура Qwen3.5 vision encoder с 27 transformer blocks и 16 attention heads
- Скрытая размерность (hidden dimension) составляет 1,152 при размере патчей 16 и временном патче 2
- Встроенный мерджер объединяет пространственные патчи 2 × 2 и проецирует их в размерность 4,096
- Общий объем модели составляет 456,010,480 параметров в формате BF16 (около 912 МБ данных)
Что можно сделать
- Исследовать пространственные и временные визуальные фичи (hidden states) для мультимодальных задач
- Использовать извлеченные признаки и мерджер для экспериментов с архитектурой Qwen3.5
- Запускать проверку корректности работы и весов на локальном железе с помощью встроенных скриптов валидации
Пример
from pathlib import Path
import torch
from PIL import Image
from transformers import Qwen2VLImageProcessor
from component import load_vision_model
root = Path('.')
model = load_vision_model(root, dtype=torch.float32, device='cpu')
processor = Qwen2VLImageProcessor.from_pretrained(root)
inputs = processor(images=Image.open('image.jpg').convert('RGB'), return_tensors='pt')
with torch.inference_mode():
outputs = model(inputs['pixel_values'], grid_thw=inputs['image_grid_thw'])
print(outputs.last_hidden_state.shape, outputs.pooler_output.shape)Подробнее
Бенчмарки: smoke-тесты выполнены на изображениях COCO128 с проверкой внимания в слоях 0, 13 и 26.Требования к железу: поддержка работы на CPU/GPU, размер данных около 912 МБ.
Лицензия: Apache-2.0, аналогично базовой модели.
Ограничения: не реализует генерацию текста и не заменяет полноценную end-to-end модель.










Комментарии