qwen3-vl-2b-receipts-lora
LoRA для чеков и счетов в JSON
1 мин чтенияобновлено
Это LoRA-адаптер для Qwen/Qwen3-VL-2B-Instruct, который извлекает данные чеков по схеме CORD и французских счетов в JSON. Автор — N-Mehdi; модель решает задачу image-text-to-text на базе 2B-версии Qwen3-VL.
Ключевые особенности
- Два режима:
cordдля чеков CORD иinvoiceдля французских счетов. - На CORD v2: exact match 0.35 и field F1 0.832 против 0.00 и 0.351 у базовой модели.
- На синтетических счетах: exact match 0.63, field F1 0.979; на невиданных шаблонах — 0.54 и 0.974.
- Обучение QLoRA: 4-bit NF4, LoRA r=16, alpha 32, 17.4M параметров, одна эпоха на T4.
- Ограничение: реальные сканы счетов не использовались; редкие поля CORD всё ещё часто пропускаются.
Пример
from PIL import Image
from receipt_vlm.service import extract
result = extract(Image.open("invoice.jpg"), kind="invoice")
print(result["data"])
Подробнее
Латентность на T4 при batch size 1: 5.8 с на чек и 14.3 с на счёт; пик GPU-памяти — 4.5 GB.Тестовые наборы: 100 чеков CORD v2 и 100 синтетических французских счетов, greedy decoding, fp16, адаптер объединён с базой.
Ограничения: синтетика построена на 6 HTML-шаблонах; качество на реальных сканах неизвестно. Лицензия адаптера — Apache-2.0.










Комментарии