ALWM
латентное предсказание будущего в видео
ALWM — обученный чекпоинт на базе Qwen3-VL-8B-Instruct (~8,77 млрд параметров) для predictive video reasoning. Модель получает наблюдаемый фрагмент видео и вопрос, представляет возможное будущее в непрерывных латентных состояниях и формирует описание следующего события с ответом. Будущие кадры не генерируются.
✨ Ключевые особенности
- 🎞 Предсказывает вероятное следующее действие, взаимодействие или изменение сцены по префиксу видео.
- ❓ Отвечает на вопросы о ненаблюдаемом продолжении, включая варианты ответа.
- 🔮 Между текстовыми этапами использу��т интервал из восьми непрерывных латентных состояний
z1…z8. - 💻 Латентные векторы передаются обратно в декодер как входные эмбеддинги, затем генерация текста продолжается.
- ✅ Полный чекпоинт в Safetensors: визуальный энкодер, языковая модель и выходная голова; это не LoRA.
💻 Пример
Иллюстративный сценарий из карточки: мяч катится к краю стола, видео обрывается до падения. Вопрос — что вероятнее всего произойдёт дальше.
<observation>Мяч катится к краю стола.</observation>
<reasoning>Если он продолжит движение, опоры больше не будет.</reasoning>
<latent></latent>
<prediction>Мяч, вероятно, упадёт со стола.</prediction><answer>A</answer>
Подробнее
Бенчмарки в карточке не приведены.Для полного поведения нужен ALWM-aware цикл декодирования с обратной связью по скрытым состояниям; обычный
generate() или литеральные z1–z8 в промпте не реализуют эту схему.Требования к VRAM не указаны. Предсказания — гипотезы, а не гарантированные исходы; латентные состояния не являются калиброванным физическим симулятором.








Комментарии