deepseek-ocr-2-khmer-lora-16k

LoRA-адаптер от CADT-IDRI (IDRI, CADT, Пномпень) для DeepSeek-OCR-2. Добавляет распознавание печатного кхмерского текста, а также английского текста и LaTeX-формул. Это только файлы адаптера: для запуска нужна базовая модель.

📌 Ключевые особенности

• 📌 Промпт Free OCR.; на выходе — сырой текст и LaTeX без bounding boxes и layout-тегов.
• 🔍 На 100 проверенных страницах: CER 13,25%, WER 21,82%; у zero-shot DeepSeek-OCR-2 оба показателя выше 100%.
• ⚙ LoRA: rank/alpha 16/16, dropout 0; целевые модули q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.
• 🖥 Обучение: 2 эпохи, lr 2e-4, AdamW (8-bit), 1× NVIDIA DGX Spark (GB10, 128 ГБ), 19 ч 23 мин.
• ⚠ Не предназначен для layout-детекции, таблиц, рукописного и сценового текста, декоративных шрифтов.

💻 Пример

from unsloth import FastVisionModel
from peft import PeftModel

model, tokenizer = FastVisionModel.from_pretrained(
    "unsloth/DeepSeek-OCR-2", load_in_4bit=False, trust_remote_code=True
)
model = PeftModel.from_pretrained(model, "CADT-IDRI/deepseek-ocr-2-khmer-lora-16k")
prompt = "<image>\nFree OCR. "

В карточке полный скрипт инференса пока помечен как TODO; промпт должен совпадать с обучавшим — Free OCR.

Подробнее

Бенчмарк: CER 13,25% / WER 21,82% на 100 проверенных страницах; zero-shot — выше 100%.
Мультишрифтовый тест: 46,95% CER и 71,50% WER; обычные шрифты — 3,8–8,5% CER, декоративные — 45–100%.
Данные: 14 030 страниц учебников Sala Digital; метки — Gemini 3 Flash Preview, без полной человеческой проверки.
Ограничения: нет layout, таблиц и структуры чтения; лицензия в карточке — TODO.