diffu-minicpm-ocr-htr
OCR для шведских рукописных архивов
2 мин чтения
Полный файнтюн MiniCPM-OCR-1.0 на 1,55 млрд параметров читает шведские рукописные архивные записи: одну строку или целый текстовый регион со строками в порядке чтения. Модель обучена как reader для проекта diffu и сравнивается с Riksarkivet Swedish Lion TrOCR на тех же данных и тестовых строках.
Ключевые особенности
- Обучена на GT-Lejonet HTR: 1 481 877 строк и 83 072 региона; тестовый split
test_0050не использовался. - Полный файнтюн: vision encoder и языковая модель обучены, aligner заморожен; 28 000 из 36 681 шага (2,3 эпохи) на двух RTX PRO 6000 Blackwell.
- Нужен vLLM commit
fa3b9d13или новее; кроп строки/региона — белый фон вне полигона, масштаб до примерно 448×448 (регион до 9×). - На одной RTX PRO 6000 Blackwell прочитала 5 000 тестовых строк со скоростью 68,55 строк/с; baseline — 7,91 строк/с.
- Ограничения: хуже читает незнакомые почерки, периоды и типы записей; может заменить старую орфографию на современную или потерять букву; при near-greedy decoding возможны повторы до лимита токенов.
Пример
vllm serve Gabriel/diffu-minicpm-ocr-htr --served-model-name htr --max-model-len 8192 --limit-mm-per-prompt '{"image": 4, "video": 0}' --mm-processor-kwargs '{"downsample_mode": "4x", "max_slice_nums": 9}' --trust-request-mm-kwargs --default-chat-template-kwargs '{"enable_thinking": false}
Подробнее
Бенчмарки: 5 000 строк test_0050 — mean CER 5,22%, CER (OpenBMB) 5,64%, WER 20,06%; 6 358 OOD-строк — mean CER 7,21%.У Swedish Lion TrOCR на тех же наборах mean CER 4,17% и 6,67% соответственно.
Требования: vLLM, max-model-len 8192, до 448×448 на строку; лицензия Apache-2.0. На тесте 3 чтения достигли лимита токенов — повторный хвост можно обрезать.










Комментарии