vela3-fast-vision

vela3-fast-vision — preview-модель семейства Vela 3.0 от vLLM Semantic Router × KR Labs. Это encoder на 0,3B параметров на один запрос: отвечает на choice/yes-no вопросы по изображениям, ищет слова ответа, не подтверждённые картинкой, проверяет OCR, указывает область и обрабатывает текстовые сигналы роутера. Лицензия MIT; язык — английский.

👍 Ключевые особенности

• 👍 Три backbone UltraVBERT в пакете: решения по изображениям и тексту, region pointing, а также замороженный backbone с LoRA-адаптерами для span’ов, OCR и роутера.
• 📝 Понимает до 3 изображений для decision-вопросов; для span и box — одно изображение.
• ⌨ Возвращает Choice, Yes/No, Span или Box; если вопрос не удаётся обработать, отдаёт ошибку, а остальные вопросы всё равно обрабатывает.
• 🏃‍♂ 29–31 мс на вопрос на одной GPU при 1024 px; заявлена работа на CPU.
• 🤝 В одном пакете — текстовые адаптеры: unsupported claims, PII, NER и сигналы роутера.

⌨ Пример запуска

import sys
from huggingface_hub import snapshot_download
path = snapshot_download('vllm-sr/vela3-fast-vision')
sys.path.insert(0, path)
from vela3v_encoder import Vela3VEncoder
m = Vela3VEncoder.load(path)
r = m.system_one('', {'kind': {'type': 'choice', 'instructions': 'What type of document is this?', 'criteria': {'invoice': 'an invoice or bill'}}}, images=['scan.png'])

Подробнее

Decision Index 0.4.1: public 37.5, Full 22.11; vision-набор, public split — 22.79 (наш прогон).
Region pointing: mean IoU 0.441 на BoxSet-test v2 — на уровне d3-turbo 27B (0.442) при 1/89 размера.
OCR-проверка: char-F1 0.868 на синтетическом наборе; image-hallucination spans — 0.518 char-F1 на M-HalDetect validation.
Пакет: 5,72 ГБ и 1,48B параметров суммарно; ограничения preview: английский, OCR обучался только на синтетике, больше 3 изображений в decision и 32 768 токенов — ошибка.