Anticipa colisiones

Академический проект Pontificia Universidad Javeriana на базе MCG-NJU/videomae-base-finetuned-kinetics. По окну 2 с (16 равномерных кадров) модель выдаёт оценку 0–1 того, что через 0,5–1,5 с после конца окна произойдёт столкновение или почти столкновение. Это не официальная модель Nexar, использование некоммерческое.

1⃣ Ключевые особенности

• 🔜 Вход — 2 с видео: 16 кадров в хронологическом порядке; модель никогда не видит сам момент удара.
• ➖ База VideoMAE; дообучены последние 4 блока encoder, fc_norm и новая бинарная голова.
• ➕ 28 350 721 обучаемых параметров из 86 227 969; обучение на 2 836 окнах, seed 42.
• ✖ Порог приложения 0,0781 — максимум F1 на валидации; он специфичен только для этой модели.
• 1⃣ Вход pixel_values [n, 16, 3, 224, 224], геометрия squash без обрезки кадра.

3⃣ Пример

import torch
from transformers import AutoVideoProcessor, VideoMAEForVideoClassification
model = VideoMAEForVideoClassification.from_pretrained("Jeol28/anticipa-colisiones").eval()
proc = AutoVideoProcessor.from_pretrained("Jeol28/anticipa-colisiones")
x = proc(videos=[clip], return_tensors="pt", do_center_crop=False, size={"height": 224, "width": 224})["pixel_values"]
score = torch.sigmoid(model(pixel_values=x).logits[:, 0])

Подробнее

На тесте Nexar: mAP 0,851, ROC-AUC 0,863; AP при Δ = 0,5/1,0/1,5 с — 0,890/0,859/0,804.
С порогом 0,0781 матрица: VN 452, FP 220, FN 92, VP 580; оценка не калибрована.
Есть сдвиг к городским сценам; AP падает с ростом горизонта прогноза.
На CPU Colab видео 40 с обрабатывалось 338,4 с; домен — горизонтальные 1280×720 из датасета Nexar.
Лицензия cc-by-nc-4.0; не для принятия решений о безопасности и не для автомобиля.