Qwen3.5-0.8B-TextPreprocessor (v2)
структуральная LoRA для распознавания документов в Markdown
2 мин чтенияобновлено
Эта модель представляет собой LoRA (небольшую надстройку над базовой моделью), которая учит компактную языковую модель Qwen/3.5-0.8B переводить изображения страниц документов в структурированный Markdown с заголовками и HTML-таблицами. База имеет размер 0.8B параметров и является нативным мультимодальным решением. Версия v2 обучена на смеси реальных и синтетических данных, благодаря чему она значительно лучше справляется с распознаванием таблиц. Модель пригодится разработчикам и исследователям, которым нужно быстро и локально конвертировать сканы или PDF-страницы в чистый текст со структурой.
Ключевые особенности
- Добавлена поддержка вывода заголовков и HTML-таблиц по изображениям страниц.
- Версия v2 показывает рост метрики Table TEDS на 116% по сравнению с базовой линией.
- Компактный размер: всего 3.19M параметров для LoRA (ранг r=8).
- Низкие системные требования благодаря скромному размеру базовой модели.
Что можно сделать
- Применить LoRA-веса v2 поверх базового чекпоинта для извлечения таблиц и структуры из документов.
- Использовать Python-скрипт с библиотеками transformers и peft для пакетной обработки страниц.
- Конвертировать страницы документов в чистый размечаемый Markdown-контент.
Пример
import torch
from PIL import Image
from transformers import AutoTokenizer, AutoImageProcessor, AutoModelForImageTextToText
from transformers.processing_utils import ProcessorMixin
from peft import PeftModel
ProcessorMixin.check_argument_for_proper_class = lambda self, attr, arg: None
from transformers.models.qwen3_vl.processing_qwen3_vl import Qwen3VLProcessor
BASE = "w666j66666/Qwen3.5-0.8B-TextPreprocessor"
tok = AutoTokenizer.from_pretrained(BASE)
imgp = AutoImageProcessor.from_pretrained(BASE)
proc = Qwen3VLProcessor(image_processor=imgp, tokenizer=tok)
model = AutoModelForImageTextToText.from_pretrained(BASE, dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "./adapter_v2")
model.eval()
img = Image.open("page.png").convert("RGB")
msg = [{"role": "user", "content": [{"type": "image"}, {"type": "text", "text": "Convert this document page into Markdown."}]}]
text = tok.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
enc = proc(text=[text], images=[img], return_tensors="pt")
Подробнее
Метрики (OmniDocBench, 30 стр.): v2 TEDS 0.2307 (+116% к базе), rule 96.0%.Требования к железу: пиковая VRAM около 1.8 GB.
Обучение: r=8, alpha=16, dropout=0.05, target=q/k/v/o/gate/up/down_proj, визуальная таба заморожена.
Ограничения: падение точности на чистом тексте (Text Edit 0.284 до 0.361), чувствительность к разрешению ниже 900px.










Комментарии