Unlimited OCR 2

Мультиязычная OCR-модель от Baidu на 3,34 млрд параметров для распознавания изображений и PDF. Вторая версия развивает идею «unlimited-horizon parsing»: документ можно подавать целиком, а не отдельными страницами.

⚙ Ключевые особенности

• 🔍 SR-SWA сжимает text-visual attention до фиксированного набора рабочих reference-токенов (например, 512), поэтому latency и память почти не растут с длиной документа.
• ⚡ Поддерживает многостраничный inference в одном запросе — модель может использовать контекст между страницами.
• 🌐 Заявлена SOTA на бенчмарках длинных документов MPDocBench и экстремально длинном MarathonDocBench.
• 🚀 Есть нативный запуск через Transformers для быстрых тестов и SGLang для serving.
• ✅ В комплекте — отдельный бенчмарк MarathonDocBench для сверхдлинных документов.

💻 Пример

from transformers import AutoModel, AutoTokenizer
import torch
model_name = 'baidu/Unlimited-OCR-2'
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True,
    torch_dtype=torch.bfloat16).eval().cuda()
pages = [f'doc/page_{i}.jpg' for i in range(1, 8)]
text, n = model.infer_multi(tokenizer, image_files=pages, output_path='out')

Подробнее

Бенчмарки: SOTA на MPDocBench и MarathonDocBench; точные цифры в карточке не приводятся.
Тестировали Transformers на NVIDIA A800-80GB; для SGLang рекомендуют mem-fraction-static 0.7.
SR-SWA ограничивает вычисления фиксированным окном reference-токенов; страничное окно в SGLang снижает пиковую память, но может ухудшать межстраничное объединение.