Qwen3.5-2B-NoRA
модель для обоснованного анализа действий по кадрам
2 мин чтенияобновлено
Модель основана на архитектуре Qwen/Qwen3.5-2B (2.21 млрд параметров) и дообучена на аннотациях NoRA для нормативных рассуждений на основе визуальных сцен от первого лица. По предварительным кадрам модель описывает видимые факты, вытекающие из них причины и возможные дальнейшие действия с перекрестными связями. Разработка создана для исследовательских задач в области мультимодального анализа поведения и логики. Она пригодится исследователям ИИ и разработчикам систем компьютерного зрения, изучающим принятие решений в визуальных средах.
Ключевые особенности
- Базируется на эффективной языковой модели Qwen3.5-2B
- Обучена на аннотациях GPT-5.4 из набора LLMSilver-1230
- Полный цикл дообучения выполнен с помощью инструмента MS-SWIFT
- Строит структурированные связи между фактами, причинами и действиями
Что можно сделать
- Проанализировать видеопоследовательности от первого лица для исследовательских проектов
- Сгенерировать детальные структурированные JSON-описания сцен с обоснованием действий
- Интегрировать модель в пайплайны обработки изображений и текста через библиотеку transformers
Пример
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
name = "MINTLABJHUANU/Qwen3.5-2B-NoRA"
processor = AutoProcessor.from_pretrained(name)
model = AutoModelForImageTextToText.from_pretrained(
name, torch_dtype=torch.bfloat16, device_map="auto")
SYSTEM_PROMPT = (
"Describe a reasonable next-action decision from the camera wearer's "
"perspective. Use only the visible scene. Return one JSON object with "
"clip_id, facts, reasons, and actions. Return JSON only."
)
USER_PROMPT = "Create a NoRA annotation for clip_id `{clip_id}` from these pre-action frames."
messages = [
{"role": "system", "content": [{"type": "text", "text": SYSTEM_PROMPT}]},
{"role": "user", "content": [
{"type": "image", "url": "frames.jpg"},
{"type": "text", "text": USER_PROMPT.format(clip_id="example")},
]},
]
inputs = processor.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True,
return_dict=True, return_tensors="pt", enable_thinking=False,
).to(model.device)
output = model.generate(**inputs, max_new_tokens=2048, do_sample=False)
print(processor.decode(
output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
Подробнее
Метод обучения: Full fine-تنning с MS-SWIFTЭпохи и learning rate: 3 / 1e-5
Batch size и gradient accumulation: 1 / 16
Точность и лимит токенов: BF16 / 4,096 токенов
Ограничения: Модель предназначена для исследований нормативных рассуждений, не является системой безопасности и не должна использоваться для принятия решений о людях.










Комментарии