PEARL-Qwen3-VL-8B-LoRA
адаптер для анализа потокового видео по пользовательским концептам
2 мин чтенияобновлено
Модель представляет собой LoRA (небольшая надстройка над базовой моделью) для визуально-языковой модели Qwen3-VL-8B-Instruct, обученная в рамках концепции PEARL. Она предназначена для персонализированного понимания потокового видео, где пользователи могут задавать вопросы по концептам, определяемым во время работы системы. Модель умеет обрабатывать как вопросы о текущем фрагменте видео (Real-Time), так и запросы по памяти из прошлых фрагментов (Past-Time). Адаптер применяется на этапе финального ответа и в связке с ретривером повышает точность работы.
Ключевые особенности
- Обучена на датасете PSVU-10K, содержащем 10 000 вопросов по видео из 155 источников.
- Улучшает точность ответов на PSVU-Bench во всех категориях, включая поведение, объекты и локации.
- Содержит 15.3 млн тренируемых параметров с рангом 16 и альфа 32.
- Распространяется под свободной лицензией Apache-2.0.
Что можно сделать
- Применить в пайплайне PEARL для ответов на вопросы по пользовательским объектам в потоковом видео.
- Загрузить веса адаптера через vLLM с включенной поддержкой LoRA для финальных ответов.
- Интегрировать адаптер с помощью библиотек
transformersиpeftдля кастомных пайплайнов обработки видео.
Пример
from vllm import LLM, SamplingParams
from huggingface_hub import snapshot_download
from vllm.lora.request import LoRARequest
llm = LLM(model="Qwen/Qwen3-VL-8B-Instruct", enable_lora=True, max_lora_rank=16)
answer_lora = LoRARequest("pearl-answer", 1, snapshot_download("zyh200727/PEARL-Qwen3-VL-8B-LoRA"))
sampling = SamplingParams(temperature=0.0)
helper_outputs = llm.generate(helper_inputs, sampling)
answer_outputs = llm.generate(answer_inputs, sampling, lora_request=answer_lora)
Подробнее
Базовая модель: Qwen/Qwen3-VL-8B-InstructТочность (Overall) на PSVU-Bench: 61.41% (с адаптером)
Обучение: 9 140 шагов, AdamW, batch size 8, BF16
Веса: FP32, размер 61.4 МБ










Комментарии