Page Type Classifier

Это бинарный классификатор полных сканов архивных страниц от некоммерческого проекта Zhnivo (Беларусь). Он определяет, напечатан или набран текст на странице либо страница рукописная или заполнена от руки. Модель помогает направлять страницы в OCR для печатного текста или в HTR-модель для рукописей.

▶ Ключевые особенности

• ▶ Архитектура — EfficientNet-B0 из torchvision с 2-классовой головой; выход — вероятность того, что страница printed.
• 🔤 Вход — grayscale-страница, длинная сторона 512 px, без растяжения, с белыми полями до квадрата 512×512 и ImageNet-нормализацией.
• ➖ Рекомендуемый порог — 0.9; если ложные ответы «printed» дороги, его можно поднять до 0.98.
• 🔜 Обучена на нескольких тысячах сканов архивных документов XVIII–XX веков: книги, газеты, машинопись, рукописные реестры и печатные формы с рукописными вставками.
• *⃣ Валидационные страницы взяты из других книг и дел, не из обучающей выборки.
• ✖ Одна метка на страницу: смешанная страница получит единственный ответ.

➕ Пример

from huggingface_hub import snapshot_download
import sys
folder = snapshot_download('Zhnivo/page-type-classifier')
sys.path.insert(0, folder)
from inference import load_model, predict
model, cfg = load_model(folder)
for p in predict(['page.jpg'], model, cfg):
    print(p, 'printed' if p >= cfg['recommended_threshold'] else 'not_printed')

Подробнее

Рекомендуемый порог — 0.9; для более осторожного режима — 0.98.
Вход — 512×512 после паддинга; архитектура EfficientNet-B0.
Обучение — несколько тысяч сканов архивных документов XVIII–XX веков, в основном кириллица и латиница.
Ограничения — только сканы и фото архивных страниц; одна метка на страницу. Лицензия MIT.