VFIG-8B
научные схемы в редактируемый SVG
2 min readupdated
VFIG-8B принимает изображение сложной научной или технической схемы и генерирует SVG-код, который заново собирает её как масштабируемую и редактируемую векторную графику. Модель построена на Qwen/Qwen3-VL-8B-Instruct, содержит 8B параметров и обучена в два этапа: SFT, затем GRPO-based RL с визуальными наградами, учитывающими рендеринг. В языковой модели использована LoRA (небольшая надстройка над базовой моделью), vision encoder и projector заморожены, а RL-LoRA слита в SFT-чекпоинт. Пригодится исследователям, инженерам и дизайнерам, которым нужны правимые диаграммы из статей и документации.
Ключевые особенности
- На входе — картинка научной или технической схемы, на выходе — SVG-код.
- Обучение: SFT + GRPO-based RL с rendering-aware visual rewards.
- База Qwen3-VL-8B-Instruct; vision encoder и projector заморожены.
- LoRA rank 32, alpha 16 в языковой модели; слита в SFT-чекпоинт.
- 8B параметров, формат BF16.
Что можно сделать
- Перевести схему из статьи или PDF в SVG для правки в векторном редакторе.
- Сделать масштабируемую диаграмму для презентации, сайта или документации.
- Встроить в пайплайн: изображение схемы → SVG-код без ручной трассировки.
- Использовать для реконструкции сложных научных и технических иллюстраций.
Пример
from PIL import Image
import torch
from transformers import AutoProcessor, AutoModelForImageTextToText
model_name = "XunmeiLiu/VFIG-8B"
processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="cuda", trust_remote_code=True)
img = Image.open("simple_diagram.png").convert("RGB")
# messages: image + "Convert this figure into valid SVG code."; затем generate(max_new_tokens=8192)
Подробнее
Параметры: 8B, BF16; отдельных требований к VRAM в карточке нет.Обучение: SFT + GRPO с rendering-aware visual rewards; LoRA rank 32, alpha 16, слита в SFT-чекпоинт.
Vision encoder и projector заморожены; язык карточки — английский.
Лицензия cc-by-4.0; проверьте совместимость с лицензией базовой Qwen3-VL-8B-Instruct.










Comments