Qwen2-VL-7B fall detection LoRA

LoRA-адаптер для Qwen/Qwen2-VL-7B-Instruct, который оценивает 32-кадровые клипы с камер как fall / no fall. Сделан для capstone-проекта CSC490 по детекции падений. Это исследовательский прототип: не тестировался на непрерывном видео и не является устройством безопасности.

✨ Ключевые особенности

• 👁 Принимает 32-кадровые клипы и выдаёт бинарный вердикт fall / no fall.
• 🦾 LoRA только на языковой модели, vision tower заморожен: rank 16, alpha 32, dropout 0.05.
• 🔥 Обучение на splits edf, mcfd и up_fall из OmniFall — 2967 клипов, 1 эпоха, около 55 минут на одной H100.
• ✅ Balanced accuracy на тесте: 96.7% (edf), 93.8% (mcfd), 95.2% (up_fall); fall recall — 100% на всех трёх.
• ⬇ Для запуска нужны transformers 5.18 и peft 0.19.1; longest_edge=78000 пикселей на кадр должен совпадать с обучением.

😎 Пример

import torch
from peft import PeftModel
from transformers import AutoProcessor, Qwen2VLForConditionalGeneration
base_id = "Qwen/Qwen2-VL-7B-Instruct"
base = Qwen2VLForConditionalGeneration.from_pretrained(base_id, dtype=torch.bfloat16, device_map="cuda")
model = PeftModel.from_pretrained(base, "Soloadio/qwen2vl-7b-fall-lora").merge_and_unload().eval()
processor = AutoProcessor.from_pretrained(base_id)
processor.image_processor.size["longest_edge"] = 78000

Подробнее

Balanced accuracy: edf 96.7%, mcfd 93.8%, up_fall 95.2%; fall recall 100% на всех трёх.
Тестовые наборы edf и mcfd малы (39 и 25 событий), mcfd — один актёр в одной комнате.
Исследовательский прототип: не тестировался на непрерывном видео и не является устройством безопасности.
Нужны transformers 5.18 и peft 0.19.1; размер кадра должен совпадать с обучением.