TR-OCR-Markdown v0.4
LoRA для DeepSeek-OCR-2
2 мин чтенияобновлено
Новая версия адаптера (v0.4) на базе unsloth/DeepSeek-OCR-2 (3,5 млрд параметров) превращает изображения турецких документов (форм, договоров, законов, чеков и таблиц) в структурированный Markdown с сохранением заголовков, списков, таблиц и формул LaTeX. Обучение велось на смеси синтетических и реальных данных. Адаптер значительно превосходит предыдущие версии на реальных сканах и цифровых PDF-документах, снижая процент ошибок (CER).
Ключевые особенности
- Специализация на турецком: точное распознавание сложных документов и печатных материалов.
- Форматирование в Markdown: автоматическое выделение заголовków, списков, таблиц и формул LaTeX.
- Эффективная архитектура: LoRA-адаптер на 86 млн параметров (346 МБ) без изменения базовых визуальных кодировщиков.
- Низкий уровень ошибок: существенное улучшение метрик (CER) на реальных тестовых наборах по сравнению с v0.3.
Что можно сделать
- Применить в пайплайнах обработки документов для конвертации сканов законов и отчетов в чистый Markdown.
- Распознавать чеки, накладные и счета с помощью специального промпта для текста или Markdown.
- Оцифровывать старые книги, академические статьи и официальные бюллетени.
- Интегрировать в локальные скрипты инференса на GPU с поддержкой bf16.
Пример
import torch
from transformers import AutoModel, AutoTokenizer
from peft import PeftModel
BASE, REPO = "unsloth/DeepSeek-OCR-2", "msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.4"
tok = AutoTokenizer.from_pretrained(BASE, trust_remote_code=True)
base = AutoModel.from_pretrained(BASE, trust_remote_code=True, use_safetensors=True, _attn_implementation="eager",
torch_dtype=torch.bfloat16).eval().cuda()
model = PeftModel.from_pretrained(base, REPO).eval()
model = model.merge_and_unload()
md = model.infer(tok, prompt="\nFree. OCR. ", image_file="sayfa.png", output_path="/tmp/out",
base_size=1024, image_size=768, crop_mode=True)
print(md)Подробнее
• Базовая модель: unsloth/DeepSeek-OCR-2 (3,5 млрд параметров, Apache-2.0).• Обучение: 1 epoch, LoRA r=16, 20,5 тыс. примеров.
• Метрики (CER): на born-digital законах упал до 0,4%, на taranmış Resmî Gazete до 25,4%.
• Ограничения: ручная проверка обязательна для юридических и официальных задач.










Комментарии