diffu-moss-r6b

Полный файнтюн DiT-части MOSS-Image-Base от Gabriel: модель рисует целые страницы шведских рукописных архивных записей XVII–XIX веков. На вход получает layout (PAGE/ALTO или JSON с боксами строк), текст и образец страницы, а на выходе даёт изображение страницы и точные ALTO/PAGE-разметки. В репозитории только DiT на 5,08 млрд параметров; текстовый энкодер, tokenizer, VAE и scheduler берутся из Base без изменений.

🔥 Ключевые особенности

• 🔥 Дообучен для diffu: генерирует обучающие страницы для page-level handwriting recognition.
• 💪 По layout и тексту выдаёт страницу вместе с точными ALTO и PAGE labels.
• 👀 Учитывает образец страницы: бумагу, чернила и общий вид, хотя и частично.
• 🐙 В репозитории только DiT в bfloat16 — 10,2 ГБ, 462 тензора; остальные компоненты из MOSS-Image-Base.
• 💳 На Blackwell можно включить MXFP8 при загрузке: на GB10 при 1024×1024 это 1,38 с/шаг против 1,76 с у bfloat16 с compile.

💪 Пример

hf download OpenMOSS-Team/MOSS-Image-Base --local-dir base
hf download Gabriel/diffu-moss-r6b --local-dir dit
uv run diffu-moss-init --base ../base --transformer ../dit --out ../moss-r6b
uv run diffu-run --jobs run.jsonl --draw-settings draw.json --model ../moss-r6b --out out --gpus 1

Подробнее

Обучение: 3 406 пар страниц из восьми шведских архивных коллекций, 2 500 шагов на одной DGX Spark; текстовый энкодер и VAE заморожены.
Рекомендуемый режим: около 1 MP, 50 шагов, guidance 3, shift 5, block 22 пропускается в unconditional pass.
Оценка: свой образец даёт страницу нужного типа в 4 из 5 случаев, серая страница становится серой в 3 из 5, цвет и серость меняются вместе в 78%.
Ограничения: почерк следует за объёмом, а не за образцом (1 из 12); вид страницы следует за образцом лишь частично; каждую строку нужно проверять — diffu помечает неуверенные строки как unclear. Лицензия Apache-2.0, как у MOSS-Image-Base.