ALWM
латентное предсказание будущего в видео
1 min read
ALWM — обученный чекпоинт на базе Qwen3-VL-8B-Instruct (~8,77 млрд параметров) для predictive video reasoning. Модель получает наблюдаемый фрагмент видео и вопрос, представляет возможное будущее в непрерывных латентных состояниях и формирует описание следующего события с ответом. Будущие кадры не генерируются.
Ключевые особенности
- Предсказывает вероятное следующее действие, взаимодействие или изменение сцены по префиксу видео.
- Отвечает на вопросы о ненаблюдаемом продолжении, включая варианты ответа.
- Между текстовыми этапами использу��т интервал из восьми непрерывных латентных состояний
z1…z8. - Латентные векторы передаются обратно в декодер как входные эмбеддинги, затем генерация текста продолжается.
- Полный чекпоинт в Safetensors: визуальный энкодер, языковая модель и выходная голова; это не LoRA.
Пример
Иллюстративный сценарий из карточки: мяч катится к краю стола, видео обрывается до падения. Вопрос — что вероятнее всего произойдёт дальше.
<observation>Мяч катится к краю стола.</observation>
<reasoning>Если он продолжит движение, опоры больше не будет.</reasoning>
<latent></latent>
<prediction>Мяч, вероятно, упадёт со стола.</prediction><answer>A</answer>
Подробнее
Бенчмарки в карточке не приведены.Для полного поведения нужен ALWM-aware цикл декодирования с обратной связью по скрытым состояниям; обычный
generate() или литеральные z1–z8 в промпте не реализуют эту схему.Требования к VRAM не указаны. Предсказания — гипотезы, а не гарантированные исходы; латентные состояния не являются калиброванным физическим симулятором.










Comments