Llama-V-JEPA-LM-Qwen3-30B-A3B
мощная видео-языковая модель для анализа динамики сцен
2 мин чтенияобновлено
Модель объединяет замороженный видеоэнкодер V-JEPA 2.1 (ViT-G) с языковой MoE-моделью Qwen3-30B-A3B. Она создана для понимания движения, направления, скорости и состояния объектов в видеороликах. Благодаря специальному спектральному мосту каждый клип преобразуется в 1024 визуальных токена независимо от исходного разрешения. Новинка превосходит базовую Qwen3-VL-30B-A3B и другие открытые аналоги на целом ряде видео бенчмарков, сохраняя при этом высокие математические и текстовые навыки исходного языкового бэкбона.
Ключевые особенности
- Превосходит открытые модели аналогичного класса в тестах на понимание видео (69.49 в среднем на 11 бенчмарках).
- Обучена с использованием контрфактуального надзора для точного отслеживания динамики сцен.
- Эффективная работа с разрешением: количество визуальных токенов фиксировано (1024) и не зависит от исходного разрешения видео.
- Сохраняет сильные математические и текстовые способности базовой языковой модели (GSM8K 88.7).
Что можно сделать
- Проанализировать видеофрагменты любой длины с помощью встроенного чат-ассистента для ответов на вопросы по содержанию.
- Настроить множественный выбор (multiple-choice) для точной оценки логики и событий в ролике.
- Запустить анализ конкретного таймкода видео с помощью параметров start_sec и end_sec.
- Выполнить автономное кодирование видео с помощью функции encode_video и задавать разные вопросы к одному кэшу.
Пример
import torch
from transformers import AutoModel
model = AutoModel.from_pretrained(
"kkt94/Llama-V-JEPA-LM-Qwen3-30B-A3B",
trust_remote_code=True, dtype=torch.bfloat16,
).to("cuda").eval()
print(model.chat("my_video.mp4", "Describe what happens in the video."))
Подробнее
Архитектура: MoE (30.53B параметров, 8 активных экспертов из 128) + энкодер V-JEPA 2.1 (1.85B).Требования к железу: около 61 ГБ VRAM для обработки одного тестового клипа.
Лицензия: Apache-2.0 (энкодер: MIT, обучающие данные: Llama 3.2 Community License).










Комментарии