VisionQ-Judge
VLM-судья для оценки визуальных сравнений из научных статей
2 мин чтенияобновлено
Набор LoRA-адаптеров (небольших надстроек над базовой моделью), созданный для исследования VisionQ (подано на CVPR 2027). Модель представляет собой мультимодальную версию google/gemma-4-E4B-it, дообученную методом DPO (обучение на предпочтениях) для определения лучшего метода на рисунках с качественным сравнением из научных публикаций. В отличие от базовой модели, VisionQ-Judge специально натренирована распознавать, какой именно результат авторы статьи считают победителем, опираясь на изображение и контекст подписи. Пригодится исследователям компьютерного зрения и разработчикам систем автоматической оценки визуальных моделей (VLM-as-a-Judge).
Ключевые особенности
- Прирост точности: в среднем набирает 61.0% на тесте VisionQ-MCQ против 50.4% у базовой Gemma-4-E4B (+10.6%).
- Устойчивость к порядку вариантов: обучение проходило на 13 394 симметричных парах с циклическим перебором порядка вариантов ответа, чтобы избежать смещения позиции.
- Комплексная адаптация: LoRA (r=16, alpha=32) применена одновременно к языковым и визуальным слоям базовой модели.
- Три варианта весов: в репозитории доступны три отдельных чекпоинта для разных сидов обучения (
seed42,seed43иseed44).
Что можно сделать
- Автоматизировать рецензирование и анализ научных статей в области компьютерного зрения, сопоставляя визуальные примеры с выводами авторов.
- Использовать модель как специализированного судью (judge) в пайплайнах бенчмаркинга мультимодальных нейросетей на задачах визуального сравнения.
Пример
from transformers import AutoProcessor, AutoModelForImageTextToText
from peft import PeftModel
base = AutoModelForImageTextToText.from_pretrained("google/gemma-4-E4B-it", torch_dtype="float16", device_map="auto")
model = PeftModel.from_pretrained(base, "visionq-review/VisionQ-Judge", subfolder="seed42")
processor = AutoProcessor.from_pretrained("visionq-review/VisionQ-Judge", subfolder="seed42")
Подробнее
Точность на тесте (538 вопросов VisionQ-MCQ): 61.3% (seed42), 60.2% (seed43), 61.3% (seed44).Обучение: 1 эпоха DPO (beta 0.3, lr 2e-5) на 2 687 вопросах из train-сплита VisionQ-MCQ.
Ограничения: результаты в fp16 могут варьироваться в зависимости от модели GPU, поэтому сравнения стоит проводить на одном типе видеокарт.
Лицензия: распространяется на условиях использования Gemma.










Комментарии