Qwen3-VL-2B Action Genome (merged)

Это Qwen3-VL-2B-Instruct на 2,13 млрд параметров, в который вмерджили LoRA-файнтюн под Action Genome. Модель получает один видеокадр и возвращает JSON-список объектов, с которыми связан человек, и отношений attention/spatial/contact. Вес merged-репозитория — 4,3 ГБ в bf16.

⚙ Ключевые особенности

• 🎯 На выходе только JSON: object, attention, spatial, contact по меткам Action Genome.
• 👀 attention: looking_at, not_looking_at, unsure; contact: holding, sitting_on, carrying, touching, not_contacting.
• ⚙ LoRA r=16, alpha=32, замороженный vision tower; обучение на 3 922 кадрах из 500 видео Charades.
• 🧊 Есть отдельная adapter-only версия на 70 МБ; merged-веса — для удобства и конвертаций.
• 🛑 Не общий scene-graph: описывает только отношения человека с объектами и не работает между кадрами.

💡 Пример

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForImageTextToText
repo = "Ram20307/qwen3vl-2b-ag-merged"
proc = AutoProcessor.from_pretrained(repo)
model = AutoModelForImageTextToText.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto").eval()
# messages: image + PROMPT из карточки; затем model.generate(**x, max_new_tokens=400, do_sample=False)
print(out)

Подробнее

На тесте Action Genome: JSON valid 199/199, recall 0.31, precision 0.45; spatial не оценивался.
Метрики сняты с LoRA-адаптера до merge; merged-веса отдельно не переоценивались.
Обучение: ~32 минуты на одной RTX A5000 16 ГБ, финальный train loss 0.183.
Ограничения: один кадр, узкий набор, слабые редкие классы; учебный проект, данные Charades/Action Genome — non-commercial research.