suraksha-desk-schema-sft-004
извлечение данных по спорным платежам в строгий JSON
2 мин чтенияобновлено
Компактная языковая модель на 3.09 млрд параметров, дообученная для первичной сортировки обращений по мошенничеству и спорам в платёжной системе UPI (индийский стандарт мгновенных переводов). По одному сообщению клиента она формирует строгий JSON из 8 полей: код транзакции UTR, категорию спора, сумму, задержку обращения, уровень ответственности по правилам RBI, обязательные действия, язык и степень паники. В основе лежит Qwen2.5-3B-Instruct, а адаптер LoRA уже вмерджен в полные веса в формате bf16. В отличие от жёстких регулярных выражений и правил, модель справляется с нестандартными формулировками, хотя автор рекомендует использовать её именно в связке с правилами как страховкой.
Ключевые особенности
- Базовая архитектура Qwen2.5-3B-Instruct, дообученная методом QLoRA (NF4 4-bit,
r=16,alpha=32) на 810 синтетических кейсах, проверенных человеком. - Понимает сообщения на английском языке, хинди (письменность деванагари) и хинглише (смесь хинди и английского латиницей).
- На нестандартных формулировках в связке с правилами корректно определяет категорию в 90.5% случаев против 45.2% у одних только правил.
- Выводит исключительно структурированный JSON по заданной схеме без лишнего текста, готовый для передачи в дальнейший пайплайн.
Что можно сделать
- Встроить в прототип ассистента службы поддержки для парсинга неструктурированных жалоб клиентов в фиксированную JSON-схему.
- Использовать как референс для гибридных систем, где LLM извлекает факты и категорию, а бизнес-правила и шаблоны отвечают за итоговое решение и ответ пользователю.
- Изучить подход к SFT-дообучению компактных моделей под строгий JSON-контракт на небольшом датасете с помощью инструментов CuratorKIT, AlignTune и AuditKIT.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("vishal24102/suraksha-desk-schema-sft-004")
model = AutoModelForCausalLM.from_pretrained("vishal24102/suraksha-desk-schema-sft-004", torch_dtype=torch.bfloat16, device_map="auto")
msgs = [{"role": "user", "content": prompt}] # промпт формируется через prompt_for из репозитория проекта
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=256, do_sample=False)[0][ids.shape[1]:], skip_special_tokens=True))
Подробнее
Метрики: 98.1% точного совпадения всех 8 полей на 54 отложенных кейсах и 90.5% точности категории на 42 кейсах с непривычными формулировками (в режиме с правилами).Обучение: 92 шага, финальный train loss 0.046 на одной мобильной видеокарте RTX 4050 (6 GB VRAM).
Ограничения: обучена только на синтетических данных, не тестировалась на реальных клиентах, не должна принимать финальные решения без человека; лицензия Qwen Research License (только для исследований и некоммерческого использования).










Комментарии