Gemma 3 12B QLoRA для телугу-документов на недвижимость
JSON прямо из OCR
2 мин чтения
LoRA-адаптер для Gemma 3 12B Instruct, который читает OCR индийского документа о недвижимости (штат Андхра-Прадеш) и возвращает один JSON-объект: стороны и их идентификаторы, объект недвижимости, суммы и данные регистрации. Это отдельный специалист для документов AP, а не мультиязычная модель — у него своя таблица сборов и своя лексика ролей.
Ключевые особенности
- Обучен строго на правилах: роль стороны определяется по её действию в документе, а не по месту на странице (executant = продавец, claimant = покупатель).
- Свидетель и держатель доверенности никогда не считаются стороной сделки; люди из упомянутых прошлых сделок — тоже.
- Три промпта: полная схема и два подмножества — только стороны либо только объект и регистрация. Ответ подмножества в среднем 465 символов против 1017, то есть вызов примерно вдвое быстрее.
- Пропущенные данные допустимы, выдуманные — критическая ошибка: любое отсутствующее поле возвращается как
null. - QLoRA
r=16,alpha=32, адаптировано 417 модулей, включая 81 модуль в vision-башне SigLIP.
Пример
model, tok = FastLanguageModel.from_pretrained(
"anandkaman/gemma3_12b_deedexp_te", max_seq_length=11008, load_in_4bit=True)
FastLanguageModel.for_inference(model)
rules = open("PROMPT_full.txt").read() # или PROMPT_subset_1.txt / _2.txt
text = tok.apply_chat_template([{"role": "user", "content": rules + "\n\nOCR:\n" + ocr_text}],
tokenize=False, add_generation_prompt=True)
ids = tok(text, return_tensors="pt", add_special_tokens=False).input_ids.to("cuda")
out = model.generate(input_ids=ids, max_new_tokens=2600, do_sample=False)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))
Подробнее
Замеры на 11 отложенных документах: 0 перепутанных ролей покупатель/продавец, 11/11 по числу сторон, сумме сделки, дате и офису регистрации, 9/11 по stamp duty и registration fee, 24/32 имён сторон, 0/11 нераспарсенных ответов.6 из 11 промптов длиннее тренировочного окна в 11k токенов — часть OCR обрезается.
Около 11.4 GB VRAM в 4-bit; обучение шло на одной RTX 5060 Ti 15.478 GiB.
Для ровно той же точности адаптер не сливают с базой: bf16-мердж даёт численно другой результат.










Комментарии