OvisOCR3

OvisOCR3 — универсальная мультимодальная модель на 0,8 млрд параметров от ATH-MaaS, построенная на Qwen3.5-0.8B. Она объединяет разбор документов, общий OCR, извлечение ключевой информации, подписи к рисункам и восстановление таблиц между страницами; нужная задача выбирается промптом. По карточке, среди моделей сопоставимого размера OvisOCR3 лидирует во всех пяти доменах.

📌 Ключевые особенности

• 📕 Разбор документов: Markdown с LaTeX и HTML-таблицами, структурированный JSON с bbox/category/content или только layout.
• 🔍 Общий OCR: текст, bounding boxes, LaTeX, данные графиков, перевод, классификация и VQA через разные промпты.
• 📌 Извлечение ключевой информации: key-value записи или JSON по заданному шаблону.
• 📝 Подписи к рисункам: локализованные описания и Mermaid для блок-схем.
• 🔗 Сквозные таблицы: собирает HTML-таблицы из последовательных страниц с указанием источника.

💻 Пример

Запуск через vLLM:

from PIL import Image
from vllm import LLM, SamplingParams

model = LLM(model=".", tensor_parallel_size=1,
            gpu_memory_utilization=0.8,
            gdn_prefill_backend="triton",
            limit_mm_per_prompt={"image": 2})
page = Image.open("test1.jpg").convert("RGB")

Подробнее

📊 Бенчмарки: OmniDocBench1.6 — 96,74; OCRBench — 88,8; OCRBench KIE — 90,50; CrossTabBench Relation F1 — 97,07.
🖥 Для инференса нужна GPU-среда с vLLM; в примере — vllm==0.22.1, одна GPU и gpu_memory_utilization=0.8.
⚙ Обучение в четыре этапа: continued pretraining, mid-training, on-policy distillation и reinforcement learning.
⚠ `infer` возвращает сырой текст без очистки, починки JSON и удаления повторов — постобработку нужно делать отдельно.