RoboBeats-4B

RoboBeats-4B от superbigsaw — компактный LoRA-адаптер к Qwen/Qwen3.5-4B из работы Learning to Live. Это строго причинный VLM-гейт: он смотрит видео с частотой 1 fps и оценивает вероятность того, что в кадре только что произошло новое событие.

👀 Ключевые особенности

• 👀 Для каждого кадра выдаёт вероятность нового события — по сути, решает, что стоит запоминать.
• 🧭 Оценка строго причинная: score на секунде t использует только кадры до t.
• 🗂 В память попадают только кадры вокруг обнаруженных событий, а не весь поток.
• ⚙ Это LoRA-адаптер к Qwen/Qwen3.5-4B; базовая модель скачивается автоматически.
• 📡 Длинные потоки обрабатываются чанками по 100 кадров с перекрытием 10 кадров.

💻 Пример

from robobeats.gate import Gate, select
from robobeats.video import iter_ticks

gate = Gate('superbigsaw/RoboBeats-4B')
probs = gate.stream((t, im.convert('RGB')) for t, _, im in iter_ticks('my_video.mp4', 0, 600))
kept = select(probs, start=0)

Подробнее

Событие открывается при p > 0.5 и закрывается при p < 0.3.
В семействе есть варианты 0.8B и 2B; здесь — 4B-версия.
Бенчмарков и требований к VRAM в карточке нет.
Код и статья — в репозитории LIFE, arXiv:2611.00180.