SmolLM3-3B Invoice & Receipt Extraction
JSON из OCR-текста счетов и чеков
2 мин чтения
LoRA-адаптер от Nour Hossam для SmolLM3-3B превращает OCR-текст счёта или чека в фиксированный JSON из девяти полей. Обучен через SFT/QLoRA на 3000 примерах; в репозитории только адаптер и tokenizer, базовую модель нужно загружать отдельно. Языки — в основном английский, есть немного индонезийских документов.
Ключевые особенности
- На 379 тестовых документах valid JSON вырос с 81.79% до 99.21%, средняя точность по полям — с 41.22% до 81.38%.
- QLoRA: 4-bit NF4, LoRA r=16/alpha=32, обучено около 30.2 млн параметров — примерно 0.97% от базы.
- Схема фиксированная: doc_type, invoice_no, date, seller, client, subtotal, tax, total и items; отсутствующие поля — null.
- Самое сложное — line items: все позиции точно совпали только в 45.65% документов, Exact Match по всем полям — 27.18%.
- Валидный JSON не гарантирует верные значения: нужны проверка схемы, сверка сумм и человеческий контроль.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel
tok = AutoTokenizer.from_pretrained('nourhossam/smollm3-invoice-qlora')
bnb = BitsAndBytesConfig(load_in_4bit=True)
base = AutoModelForCausalLM.from_pretrained('HuggingFaceTB/SmolLM3-3B', quantization_config=bnb, device_map='auto')
model = PeftModel.from_pretrained(base, 'nourhossam/smollm3-invoice-qlora')
Подробнее
Тест: 379 документов, Items F1 60.18%, Truncated Rate 0.53%.Обучение: около 84 минут на одной T4 (16 ГБ), 1 эпоха, 3000 примеров, max sequence length 1152.
Ограничения: модель не читает изображения и PDF — нужен OCR; возможен корректный JSON с неверными значениями; слабые места — line items, seller, client и tax.










Комментарии