LeanScene
сверхлёгкая нейросеть для поиска склеек в видео
2 мин чтения
LeanScene от разработчика lucaspy — это компактная модель всего на 0,39M параметров, которая автоматически находит границы сцен в видеороликах: резкие склейки (cut), наплывы (dissolve) и затухания (fade). На выходе она возвращает точные диапазоны кадров для каждого шота и список переходов с их типом и вероятностями. При размере весов всего 1,6 МБ нейросеть обходит популярную модель TransNet V2 по качеству на всех трёх тестовых наборах данных, требуя при этом в 115 раз меньше вычислительных операций (MACs) на кадр. Инструмент пригодится видеомонтажёрам, разработчикам систем видеоаналитики и тем, кто готовит датасеты из длинных роликов.
Ключевые особенности
- Весит всего 1,6 МБ (0,39M параметров) и требует 7,2M MACs (операций умножения-сложения) на один кадр.
- Превосходит TransNet V2 по метрике F1 на бенчмарках BBC Planet Earth, ClipShots и RAI.
- Работает локально без подгрузки весов в рантайме: модели уже вшиты в готовые пакеты для Python и Node.js.
- Доступна в формате ONNX (два графа для извлечения признаков и временной головы), благодаря чему запускается прямо в браузере без отправки видео на сервер.
Что можно сделать
- Автоматически нарезать длинные видеоролики на отдельные сцены при подготовке датасетов для обучения видеомоделей.
- Встроить детекцию монтажных склеек в Python-скрипт или Node.js-сервис для индексации и анализа видеоархивов.
- Проверить разметку своего ролика прямо во вкладке браузера через веб-демо автора без загрузки файлов в облако.
Пример
import leanscene
result = leanscene.detect("video.mp4")
result.shots # [(0, 343), (344, 2403), ...]
result.transitions # [Transition(start=344, end=344, kind='cut'), ...]
result.probs # (frames, 3) float32: same, cut, fadeПодробнее
Бенчмарки (F1, среднее по 5 сидам): BBC Planet Earth — 97.4 (против 96.1 у TransNet V2), ClipShots — 79.1 (против 77.7), RAI — 93.7 (против 92.6).Веса в репозитории (один из сидов): 97.45 / 78.82 / 93.03.
Ограничения: Python-пакет декодирует видео через OpenCV, поэтому на файлах с переменной частотой кадров (VFR) тайминги могут сдвигаться, хотя индексы кадров остаются точными.
Лицензия: MIT.










Комментарии