Reviso

Reviso — агентная модель для video captioning от TengfeiLiuCoder на базе Qwen3.5-9B (9,41 млрд параметров). Вместо пассивного просмотра она строит иерархический план Context–Focus–Points, а затем активно добирает доказательства: возвращается к нужным моментам, кропает кадры и распознаёт текст через OCR. Доступен полный чекпойнт в FP32 — девять safetensors-шардов (~37,64 ГБ), tokenizer и processor. Есть Paper и Code.

🧐 Ключевые особенности

• 🧐 Из глобального превью строит иерархический план наблюдения Context–Focus–Points (CFP).
• 🔥 Активно собирает доказательства: temporal revisiting, кропает изображения, использует OCR.
• 🔙 В несколько раундов обновляет понимание и план до генерации финальной подписи.
• 🤖 Основа — Qwen3.5-9B, 9,41 млрд параметров.
• 💯 Чекпойнт: полные веса FP32, девять safetensors-шардов (~37,64 ГБ), tokenizer и processor.

😎 Пример

import torch
from transformers import AutoProcessor, Qwen3_5ForConditionalGeneration
model_path = "./Reviso"
processor = AutoProcessor.from_pretrained(model_path)
model = Qwen3_5ForConditionalGeneration.from_pretrained(
    model_path, dtype=torch.bfloat16, device_map="auto"
).eval()

Подробнее

Чекпойнт: полные веса FP32, девять safetensors-шардов (~37,64 ГБ), tokenizer и processor.
Пример загружает FP32-веса в BF16 на совместимом железе.
Окружение: Python 3.12; torch 2.10.0 и torchvision 0.25.0 (CUDA 12.6); transformers 5.10.4; accelerate >=1.9,<2.
Бенчмарки и требования к VRAM в карточке не указаны.