InvoiceDesk Donut
разбор счетов и чеков по фото
2 min readupdated
Компактная VLM-модель (нейросеть, работающая с изображениями и текстом) на 0.2B параметров для автоматического извлечения данных из счетов поставщиков и кассовых чеков напрямую без отдельного OCR-движка. Построена на базе naver-clova-ix/donut-base автором okba-bouziane и дообучена сразу на три задачи: структурированный разбор счетов, чтение чеков из датасета CORD-v2 и ответы на вопросы по документу на английском или французском. В отличие от связки Tesseract OCR + правила, модель сама собирает нужные поля вроде поставщика, номера, даты, позиций, налогов и итоговых сумм.
Ключевые особенности
- Три режима работы через стартовый токен декодера: разбор счетов (
), чеков () и DocVQA (ответы на вопросы по документу). - Работает с изображениями в разрешении 1280×960 и возвращает структурированную последовательность тегов, которую скрипт из репозитория автора преобразует в JSON.
- На знакомых шаблонах счетов набирает Field F1 0.968 против 0.428 у связки Tesseract OCR + правила.
- Открытая лицензия MIT, компактный размер 0.2B параметров и готовый код генерации данных и валидации сумм на GitHub.
Что можно сделать
- Автоматизировать первичный ввод накладных, счетов и чеков в учётных системах или Telegram-ботах для бухгалтерии.
- Использовать как базу для дообучения под локальные шаблоны первичных документов на других языках благодаря открытому пайплайну обучения.
- Встроить проверку конкретных полей документа через режим вопросов и ответов без парсинга всей таблицы позиций.
Пример
from PIL import Image
from transformers import DonutProcessor, VisionEncoderDecoderModel
processor = DonutProcessor.from_pretrained("okba-bouziane/invoicedesk-donut")
model = VisionEncoderDecoderModel.from_pretrained("okba-bouziane/invoicedesk-donut").eval()
pixels = processor(Image.open("invoice.jpg").convert("RGB"), return_tensors="pt").pixel_values
prompt = processor.tokenizer("", add_special_tokens=False, return_tensors="pt").input_ids
print(processor.tokenizer.batch_decode(model.generate(pixels, decoder_input_ids=prompt, max_length=512))[0])
Подробнее
Метрики на тесте: Field F1 — 0.968 на 6 знакомых шаблонах счетов, 0.698 на новом шаблоне и шрифте, 0.592 на чеках CORD-v2; точность ответов на новые формулировки вопросов (exact match) — 0.777.Обучение: 3 эпохи (135 минут) на одной Kaggle T4 GPU при разрешении 1280×960.
Ограничения: обучалась на чеках CORD-v2 и синтетических алжирских счетах на французском и английском; слабее всего распознаётся поле NIF (61.7% точных совпадений, часто ошибка в одну цифру).










Comments