Raqim_OCR_Arabic
OCR арабской рукописи на Qwen3-VL
1 min read
Raqim_OCR_Arabic (رقيم) — модель распознавания арабского рукописного текста от Youssefx64. Это файнтюн Qwen/Qwen3-VL-2B-Instruct (~2.13B) через LoRA с последующим merge, обученный на строчных вырезках исторических арабских рукописей из aamijar/muharaf-public. На вход подаётся одно изображение строки, на выходе — транскрипция.
Ключевые особенности
- Fine-tune Qwen3-VL-2B-Instruct через LoRA (merged), около 2.13B параметров.
- Работает с кропом одной текстовой строки: изображение → арабская транскрипция.
- На тесте CER 0.1737 и WER 0.4494 против 1.1281/1.1144 у base zero-shot.
- Обучение на исторических рукописях Muharaf; пиковый VRAM при тренировке — 10.9 GB.
- Лицензия CC BY-NC-SA 4.0: только некоммерческое использование и share-alike.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
from PIL import Image
repo = 'Youssefx64/Raqim_OCR_Arabic'
processor = AutoProcessor.from_pretrained(repo)
model = AutoModelForImageTextToText.from_pretrained(repo, dtype='auto', device_map='auto')
prompt = processor.apply_chat_template([{'role': 'user', 'content': [{'type': 'image'}, {'type': 'text', 'text': 'Transcribe the Arabic handwriting in this image exactly as written.'}]}], add_generation_prompt=True, tokenize=False)
enc = processor(text=[prompt], images=[Image.open('line.png').convert('RGB')], return_tensors='pt').to(model.device)
print(processor.batch_decode(model.generate(**enc, max_new_tokens=160, do_sample=False)[:, enc['input_ids'].shape[1]:], skip_special_tokens=True)[0])
Подробнее
Тест: base zero-shot — CER 1.1281, WER 1.1144 (n=300); Raqim — CER 0.1737, WER 0.4494 (n=1334).Пиковый VRAM при обучении: 10.9 GB.
Ограничения: только строчные кропы исторических рукописей; для полной страницы нужна сегментация строк, современная печать и другие письменности вне области.
Лицензия: CC BY-NC-SA 4.0 (non-commercial, share-alike).










Comments