Nemotron-3.5-Parse-Handwriting-LoRA
распознавание рукописей, формул и досок
2 мин чтенияобновлено
Адаптер LoRA (небольшая обучаемая надстройка над весами базовой нейросети) на 26,5 млн параметров от автора Kavic для парсера документов nvidia/Nemotron-3.5-Parse. Он учит модель распознавать рукописный текст на латинице (английский, французский, немецкий), фотографии тетрадей с телефона, надписи мелом на школьных досках и переводить рукописные математические формулы в формат LaTeX. В отличие от базовой модели, которая почти не находит рукописные формулы и плохо читает доски, адаптер резко снижает процент ошибок (CER) и сохраняет фирменную разметку блоков документа. Пригодится разработчикам систем оцифровки конспектов, учебных материалов и архивов.
Ключевые особенности
- Оптимальный баланс ×0.75: в корне репозитория лежит версия с коэффициентом применения 0.75 — она убирает зацикливания на печатном тексте, которые возникали при полной силе (папка
full-strength/). - Формулы в LaTeX: распознаёт рукописную математику и оформляет её в стандартные блоки
\( ... \)базового парсера. - Три языка и диакритика: обучен на английском, французском и немецком почерках, заметно сокращая ошибки в символах вроде é, ö и ß.
- Сложные условия съёмки: справляется с реальными фото тетрадных страниц со смартфона, перспективой, тенями и белым мелом на тёмной доске.
Что можно сделать
- Оцифровка студенческих конспектов: прогонять фотографии тетрадей в линию и клетку, получая структурированный текст с координатами блоков и готовыми формулами LaTeX.
- Парсинг лекций со школьных досок: извлекать текст и уравнения со снимков меловых досок в аудиториях (маркерные белые доски и рисунки не поддерживаются).
- Тонкая настройка силы эффекта: при необходимости загрузить веса из
full-strength/и масштабировать матрицыlora_Bпод баланс между рукописью и печатным текстом.
Пример
from peft import PeftModel
from transformers import AutoModel, AutoProcessor
base = "nvidia/Nemotron-3.5-Parse"
model = AutoModel.from_pretrained(base, trust_remote_code=True, dtype="bfloat16")
model = PeftModel.from_pretrained(model, "Kavic/nemotron-3.5-parse-handwriting-lora").merge_and_unload().to("cuda")
processor = AutoProcessor.from_pretrained(base, trust_remote_code=True)
# Промпт:
Подробнее
Метрики (база → LoRA ×0.75): CER на английском IAM 5.7 → 3.7; поиск формул MathWriting 2.5% → 41.5% (LaTeX CER 94.1 → 41.3); доски 0% → 27.3% (CER 72.1 → 41.0).Обучение: 12 000 сгенерированных страниц (1500 шагов) на одной NVIDIA A100 40 GB за 2 ч 20 мин в bf16.
Ограничения: только некоммерческое использование (CC BY-NC-SA 4.0); на чистом печатном тексте возможен дрейф 3.4% от базы; не поддерживает маркерные доски и распознавание рисунков.










Комментарии