LoRA для Time-R1-7B: аудит доказательств в видео
1 мин чтенияобновлено
Этот LoRA-адаптер (небольшая надстройка над базовой моделью) обучен для улучшения точности и зависимости от реальных доказательств в задаче временного заземления видео (video temporal grounding). Модель базируется на Time-R1-7B и создана авторами исследования Accuracy Is Not Evidence. Она помогает точнее определять временные интервалы событий на видео с использованием плацебо-контролируемого обучения. Модель пригодится исследователям и разработчикам, занимающимся анализом видеоданных и проверкой надежности мультимодальных моделей.
Ключевые особенности
- Плацебо-контроль: обучение с целевой функцией контроля правомерности ответов на измененных видео.
- Работа с видео: поддержка ввода видео с частотой 2 fps и длиной до 768 кадров.
- Параметры LoRA: ранг r=16, alpha=32, dropout 0.05, наложенные на проекции q/k/v/o и gate/up/down.
- Обучение: 300 шагов оптимизатора на 2,400 парах из выборки Charades-STA.
Что можно сделать
- Запустить оценку: протестировать модель с помощью скриптов аудита из официального репозитория исследования.
- Интегрировать в пайплайн: загрузить адаптер через библиотеку PEFT для анализа видеособытий.
- Провести аудит: использовать модель для измерения зависимости ответов мультимодальной системы от видеоряда.
Пример
# pip install "transformers>=5.12" "peft>=0.19.1" qwen-vl-utils
import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from peft import PeftModel
base = "Boshenxx/Time-R1-7B"
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(base, torch_dtype=torch.bfloat16, device_map="auto")
processor = AutoProcessor.from_pretrained(base)
model = PeftModel.from_pretrained(model, "jinzijie-bupt/evidence-audit-timer1-7b-pc-a05-s0")
Подробнее
Альфа-коэффициент (α): 0.5Бета-коэффициент (β): 0.1
Скорость обучения: 5e-6
Требования: transformers 5.x (протестировано на 5.12.1), peft 0.19.1 или новее










Комментарии