LoRA для LTX-2.3: трекинг через генерацию ID-карт
1 мин чтенияобновлено
Набор LoRA-адаптеров для модели LTX-2.3, которые превращают обычное видео в клип с ID-картами. Каждый человек в кадре закрашивается своим уникальным цветом, сохраняющимся на протяжении всего ролика. Модель выполняет роль трекера без использования дополнительных детекторов движения или сложных алгоритмов связывания объектов. Решение основано на научной работе о генерации стабильных идентификационных цветов.
Ключевые особенности
- Работает на базе LTX-2.3 22B dev с весами ранга 32 (rank-32 LoRA).
- Превращает RGB-видео в ролики с устойчивыми цветовыми метками людей.
- Включает чекпоинты, обученные на датасетах DanceTrack и SportsMOT.
- Заменяет классические детекторы и модели движения генеративным подходом.
Что можно сделать
- Применить адаптеры для задачи многообъектного трекинга в видеопотоке.
- Протестировать связную генерацию кадров с помощью скриптов из репозитория проекта.
- Использовать палитру цветов для извлечения стабильных идентификаторов людей.
- Исследовать поведение модели на спортивных или танцевальных датасетах.
Пример
Адаптеры используются со скриптами репозитория ltx_run_chain.py для обработки видео по принципу скользящих окон.
Подробнее
Бенчмарки: 40.3 HOTA на тесте DanceTrack, DetA 37.6Железо: около 0.4 кадров в секунду на одном A100
Ограничения: слабая сторона — детектирование, хуже всего работает в толпе
Лицензия: LTX-2 Community License Agreement, только для некоммерческих исследований








Комментарии