DeepOCR v4
распознавание исторической печати и рукописей
2 мин чтенияобновлено
Модель для построчного OCR (оптического распознавания текста) старинных печатных изданий и рукописных документов. Разработана автором M2key1 на базе DeepOCR v3 (461.6M параметров), но дополнена субсловным декодером на основе 238M-версии OLMo 3, дистиллированной из HabsburgLLM. В отличие от прошлой версии, v4 генерирует четыре варианта строки с помощью языкового декодера и проверяет их по изображению через CTC-голову (слой выравнивания символов с картинкой), что вдвое сокращает ошибки на новых рукописных письмах. Пригодится историкам, архивистам и разработчикам систем оцифровки документов.
Ключевые особенности
- Гибридная архитектура на 461.6M параметров: 156.0M приходится на визуальный энкодер с MoE-слоями (64 эксперта, 8 активных на столбец) и байтовой CTC-головой, а 305.6M — на субсловный декодер с кросс-вниманием к признакам изображения.
- Снижение ошибок на рукописях: на невиданных ранее письмах около 1900 года показатель CER (частота ошибок на уровне символов) упал с 9.36% у v3 до 4.56% у v4.
- Гибкая настройка орфографии: четыре флага в
infer.CONVENTIONпозволяют управлять передачей длинной s (ſ), косого дефиса (⸗), типографской пунктуации и раскрытием сокращений. - Независимость от батча: строка распознаётся одинаково независимо от того, подаётся ли она отдельно или в пакете с более длинными строками.
Что можно сделать
- Оцифровывать европейские печатные книги и рукописи от Средневековья до Нового времени после предварительной сегментации страницы на отдельные строки.
- Интегрировать модель в инструмент разметки DeepLabel, который уже поддерживает работу с субсловным декодером v4.
- Выбирать режим декодирования под задачу: использовать
use_decoder=Trueдля связного текста или переключаться на beam search с KenLM для точного подсчёта отточий и коротких фрагментов из 1–2 слов.
Пример
import torch
from PIL import Image
from infer import load_model, transcribe
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model, tokenizer = load_model('deepocr-v4.pt', device)
print(transcribe(model, tokenizer, [Image.open('line.png')], device, use_decoder=True)[0])Подробнее
Метрики CER (ниже — лучше): на 2 000 строках валидации — 6.82% (против 7.44% у v3), на 1 972 строках рукописных писем ~1900 года — 4.56% (против 9.36% у v3).Вход: RGB-изображение одной строки, масштабируется до 256 px по высоте и читается до 6144 px в ширину.
Ограничения: требуется предварительный детектор строк; перевёрнутые кропы не определяются автоматически; хуже читает редкие в обучающей выборке языки (например, чешский).
Лицензия: Apache-2.0.










Комментарии