diffu-moss-hand-landskapshandlingar

Это LoRA-адаптер для MOSS-Image-Base от Gabriel. Он воспроизводит почерк раннемодерных шведских провинциальных счетов landskapshandlingar и входит в проект diffu, который рисует синтетические архивные страницы с точными метками ALTO и PAGE для обучения моделей рукописного OCR и чтения страниц. Адаптер имеет rank 32, alpha 32 и покрывает 265 Linear-слоёв DiT.

✨ Ключевые особенности

• 🖼 LoRA в bfloat16 покрывает 42 joint block DiT (q, k, v, o, ffn_up_gate, ffn_down), text refiner, два embedder и финальный слой.
• 📚 Обучена на 208 окнах примерно по 1 MP из шведских архивных рукописей; каждый каптион — MOSS Layout prompt с названием коллекции, точным текстом и боксами строк.
• 💻 Применяется поверх MOSS-Image-Base без merged-модели: через diffu или PEFT с merge_and_unload.
• 📖 В промпте нужно называть коллекцию, как при обучении: «…a handwritten page from the landskapshandlingar provincial accounts…».
• ❌ Один почерк из одной коллекции; другие почерки и типы страниц не тестировались, а нарисованный текст нужно проверять.

💻 Пример

from peft import PeftModel
from diffu_moss.transformer import MossTransformer

dit = MossTransformer.from_pretrained("<MOSS-Image-Base snapshot>/transformer")
dit = PeftModel.from_pretrained(dit, "Gabriel/diffu-moss-hand-landskapshandlingar").merge_and_unload()
dit.save_pretrained("dit-landskapshandlingar")

Подробнее

Обучение: AdamW, 1e-4, 700 шагов; text encoder и VAE заморожены.
Инференс как у MOSS-Image: около 1 MP, 50 steps, guidance 3, shift 5, block 22 пропускается в unconditional pass.
Ограничение: один почерк; diffu проверяет нарисованные строки и помечает неподтверждённые как unclear.
Лицензия Apache-2.0, как у MOSS-Image-Base.