visual-feature-discovery
определение типографии по сканам старинных книг
2 мин чтенияобновлено
Набор весов для классификации отсканированных страниц корейской периодики колониального периода по четырём типографиям, в которых они были напечатаны. В основе лежат архитектуры AttriMIL (метод обучения с множественными экземплярами для поиска визуальных признаков), ConvNeXtV2 Base и Swin S3 Base 224 от исследователей из области цифровых гуманитарных наук. В отличие от обычных классификаторов, модели протестированы со строгим разделением по книгам (held-out book), чтобы исключить утечку данных между страницами одного издания. Репозиторий пригодится историкам, архивистам и разработчикам систем анализа исторических документов.
Ключевые особенности
- Поддержка трёх архитектур: компактной AttriMIL (веса по 12 МБ) и крупных базовых моделей ConvNeXtV2 Base и Swin S3 Base 224.
- Интерпретируемый поиск визуальных признаков по фрагментам страницы (патчам размером 16x16 и 8x8 пикселей).
- Честная оценка качества на ранее не встречавшихся книгах (GroupKFold) по пяти фолдам кросс-валидации.
- Официальные веса к научной статье 2026 года с открытыми метаданными датасета на Zenodo и исходным кодом на GitHub.
Что можно сделать
- Автоматически атрибутировать архивные сканы корейских периодических изданий по четырём историческим типографиям.
- Использовать чекпоинты AttriMIL и код репозитория как основу для задач интерпретируемой классификации шрифтов, печати и дефектов сканирования.
- Сравнить поведение patch-based моделей (AttriMIL) и классических vision-трансформеров (Swin, ConvNeXtV2) при разбиении данных по документам и страницам.
Пример
import torch
from huggingface_hub import hf_hub_download
from src.models.lightning_attrimil import LightningAttriMIL
path = hf_hub_download("aronvandepol/visual-feature-discovery", "attrimil_p8s4_flash_fold0.pth")
ckpt = torch.load(path, map_location="cpu", weights_only=True)
model = LightningAttriMIL(**ckpt["hyper_parameters"])
model.load_state_dict(ckpt["state_dict"])Подробнее
Точность на новых книгах (held-out book): AttriMIL 16x16 — 84.52 ± 2.19%, Swin S3 Base 224 — 84.11 ± 1.81%, ConvNeXtV2 Base — 81.98 ± 2.40%.При случайном разбиении по страницам точность бейзлайнов достигает 98.15%, но авторы предупреждают о переобучении на стиль конкретной книги.
Обучено на 57 583 страницах из коллекции Hyundam Mun'go (сами изображения не включены в репозиторий).
Лицензия: CC-BY-4.0 для весов и MIT для кода.










Комментарии