Cog
видео-модель, которая отвечает на пространственные вопросы
2 min read
Cog — это файнтюн Qwen3-VL-8B-Instruct на 8,77 млрд параметров, который смотрит видео и отвечает на вопросы о пространстве: сколько объектов, какого они размера, насколько далеко и в каком направлении. Модель не просто выдаёт число — она строит карту, релевантную вопросу, и пространственные доказательства с расчётами, а затем формулирует ответ. От базовой Qwen3-VL её отличает специализация на видео-пространственном reasoning: обучение включало SFT и RL-этап DAPO. Пригодится исследователям и разработчикам видео-ассистентов, робототехники и аналитики помещений.
Ключевые особенности
- На вход принимает 32 кадра видео и пространственный вопрос, на выходе даёт число или вариант ответа.
- Для обычных вопросов формирует карту сцены и evidence — пространственные факты и вычисления.
- Покрывает семь семейств задач: подсчёт объектов, оценку размера, абсолютные и относительные расстояния, направление, размер комнаты и планирование маршрута.
- Полный чекпоинт в FP32 safetensors вместе с токенизатором, процессором и chat-шаблонами; лицензия Apache 2.0.
Что можно сделать
- Загрузить 32 кадра комнаты и спросить, сколько в ней стульев и как они расположены.
- Проверить, как модель планирует маршрут внутри помещения по видео.
- Собрать исследовательский пайплайн для spatial QA и сравнить ответы модели с эталоном.
- Использовать как основу для видео-ассистента, которому нужно оценивать расстояния и направления.
Пример
import torch
from transformers import AutoProcessor, Qwen3VLForConditionalGeneration
model_id = "QiWang98/Cog"
processor = AutoProcessor.from_pretrained(model_id)
model = Qwen3VLForConditionalGeneration.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto", attn_implementation="sdpa")
model.eval()
Подробнее
Официальное среднее по семи семействам задач — 54.00% на 6 158 вопросах ReVSI32; route planning — 50.78%, object size estimation — 62.14%.Веса в FP32 занимают около 35.1 GB до кэшей и активаций; пример для инференса переводит их в BF16.
Это single-seed исследование: карты и evidence — предсказания модели и могут быть неточными; другой backend, промпт или число кадров дадут другие результаты.










Comments