PDF-Surgery-LoRA

Это компактный zero-shot PEFT LoRA-адаптер (7.73 MB) для Qwen/Qwen2.5-VL-3B-Instruct от MikhailLis. Он улучшает транскрипцию научных PDF: LaTeX-формулы, сложные многоколоночные таблицы и русский технический текст. Адаптер создан без обучения и градиентного спуска — только аналитической модификацией весов.

✅ Ключевые особенности

• ✅ Без обучения: 5 аналитических преобразований весов, включая SLERP на слое 35 и SVD-шумоподавление ViT.
• 📉 На бенчмарке из 6500 символов CER снизился с 16.04% до 11.75%, общих ошибок меньше на 26.7%.
• 🦾 Таблица Table 2: 10/10 строк против 8/10 у базовой модели; ошибки в LaTeX-формулах -32.2%.
• ✨ Русский текст: 512/512 кириллических символов верны, ошибок -15.3%.
• 🐆 Инференс 3 страниц на RTX 3060: 115.6 с против 255.2 с при speculative k=2 (2.2x).

💥 Пример

from peft import PeftModel
from transformers import Qwen2_5_VLForConditionalGeneration
base = "Qwen/Qwen2.5-VL-3B-Instruct"
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(base, torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(model, "MikhailLis/qwen2.5-vl-3b-pdf-surgery-lora")
model = model.merge_and_unload()
# далее: processor, изображение страницы и промпт на Markdown/LaTeX

Подробнее

CER: 16.04% → 11.75% (относительное улучшение 26.7%).
Table 2: все 10 строк, ошибки 590 → 422.
Русский фрагмент: 98 → 83 ошибки, 512/512 символов.
Инференс 3 страниц на RTX 3060: 255.2 → 115.6 с.
Ограничение: адаптер для Qwen2.5-VL-3B, оценка на трёх документах.