1⃣ RAVEC-3B
мультимодальный чекпоинт для визуальной логики и математики
2 мин чтенияобновлено
RAVEC-3B — это верифицированный чекпоинт (сохранённое состояние весов) мультимодальной модели, способной анализировать изображения и отвечать на вопросы по ним. Модель создана автором Jack04810 на базе Qwen2.5-VL-3B-Instruct (версия на 3 миллиарда параметров) и соответствует основным результатам из таблицы 2 научной работы RAVEC. В отличие от базовой модели, этот экспорт представляет собой обученного Actor/student-агента на 175-м шаге обучения с фокусом на задачи визуальной математики, геометрии и логических рассуждений. Она пригодится исследователям и разработчикам, которым нужна компактная VLM (мультимодальная языковая модель) для решения сложных визуально-текстовых задач.
Ключевые особенности
- База Qwen2.5-VL-3B-Instruct: компактный размер в 3B параметров упрощает локальное развёртывание через библиотеку
transformers. - Высокая точность на визуальных тестах: средний балл Avg@8 (средняя точность по 8 генерациям) по десяти бенчмаркам составляет 54.42%, включая 87.98% на POPE и 66.54% на C-VQA-Real.
- Верифицированные веса: файлы чекпоинта (шаг 175) побайтово сверены с манифестом обучения и снабжены SHA-256 хешами в
checkpoint_manifest.json. - Готовность к работе в Transformers: веса лежат в подпапке
RAVEC-3Bи загружаются стандартными классамиQwen2_5_VLForConditionalGeneration.
Что можно сделать
- Решать задачи по геометрии и математике по картинкам: использовать модель для разбора чертежей, графиков и условий из наборов уровня Geometry3K, MathVista и MathVerse.
- Проверять визуальные гипотезы и снижать галлюцинации: применять модель в задачах VQA (ответы на вопросы по изображениям), где требуется точное определение наличия объектов (профиль теста POPE).
- Воспроизводить результаты статьи RAVEC: использовать опубликованный чекпоинт как эталон для сравнения со своими файнтюнами на базе Qwen2.5-VL-3B.
Пример
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
repo = "Jack04810/RAVEC"
processor = AutoProcessor.from_pretrained(repo, subfolder="RAVEC-3B")
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
repo, subfolder="RAVEC-3B", torch_dtype="auto", device_map="auto"
)Подробнее
Бенчмарки (Avg@8): POPE — 87.98%, C-VQA-Real — 66.54%, We-Math — 61.68%, MathVista — 59.78%, MathVerse — 57.43%, средний балл по 10 тестам — 54.42%.Совместимость: экспорт протестирован на Transformers 4.51.3, требуется версия с поддержкой Qwen2.5-VL.
Ограничения: в репозитории выложена только 3B-версия (шаг 175), чекпоинт на 7B в релиз не вошёл.
Лицензия: Qwen Research License (наследуется от Qwen2.5-VL-3B-Instruct).










Комментарии