OvisOCR3
компактная OCR-мультимодель для документов
2 min read
OvisOCR3 — универсальная мультимодальная модель на 0,8 млрд параметров от ATH-MaaS, построенная на Qwen3.5-0.8B. Она объединяет разбор документов, общий OCR, извлечение ключевой информации, подписи к рисункам и восстановление таблиц между страницами; нужная задача выбирается промптом. По карточке, среди моделей сопоставимого размера OvisOCR3 лидирует во всех пяти доменах.
Ключевые особенности
- Разбор документов: Markdown с LaTeX и HTML-таблицами, структурированный JSON с bbox/category/content или только layout.
- Общий OCR: текст, bounding boxes, LaTeX, данные графиков, перевод, классификация и VQA через разные промпты.
- Извлечение ключевой информации: key-value записи или JSON по заданному шаблону.
- Подписи к рисункам: локализованные описания и Mermaid для блок-схем.
- Сквозные таблицы: собирает HTML-таблицы из последовательных страниц с указанием источника.
Пример
Запуск через vLLM:
from PIL import Image
from vllm import LLM, SamplingParams
model = LLM(model=".", tensor_parallel_size=1,
gpu_memory_utilization=0.8,
gdn_prefill_backend="triton",
limit_mm_per_prompt={"image": 2})
page = Image.open("test1.jpg").convert("RGB")
Подробнее
Бенчмарки: OmniDocBench1.6 — 96,74; OCRBench — 88,8; OCRBench KIE — 90,50; CrossTabBench Relation F1 — 97,07.Для инференса нужна GPU-среда с vLLM; в примере — vllm==0.22.1, одна GPU и gpu_memory_utilization=0.8.
Обучение в четыре этапа: continued pretraining, mid-training, on-policy distillation и reinforcement learning.
`infer` возвращает сырой текст без очистки, починки JSON и удаления повторов — постобработку нужно делать отдельно.










Comments