SmolLM3-3B Arabic Legal QLoRA
классификатор арабских договорных оговорок
2 min read
Это merged-версия QLoRA-файнтюна SmolLM3-3B (3,08 млрд параметров) от пользователя SeifWaleed для классификации арабских договорных оговорок в одну из шести категорий. LoRA rank 16, 4-битная NF4-база, supervised fine-tuning через TRL. Карточка прямо называет проект образовательной демонстрацией, а не юридической консультацией.
Ключевые особенности
- Шесть меток:
payment,termination,liability,dispute_resolution,scope_of_work,other. - Пилот на 409 примерах из 3385 кандидатов; split по исходным документам: 287 train, 61 validation, 61 test.
- На silver-прокси accuracy выросла с 0,2295 до 0,8033, Macro-F1 — с 0,2352 до 0,7918; invalid output rate 0,0.
- Локальный неофициальный GSM8K: numeric exact match 0,73333 против 0,78333 у базы на 60 вопросах.
- Ограничения: маленький пилот, шумные silver-метки, дисбаланс классов, арабский не сильнейший язык SmolLM3; оговорки могут быть многозначными.
Пример
import torch; from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "SeifWaleed/smollm3-3b-arabic-legal-qlora-merged"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.float16)
prompt = [{"role":"system","content":"/no_think\nأنت مصنف للبنود القانونية العربية. أجب بفئة واحدة فقط: payment, termination, liability, dispute_resolution, scope_of_work, other"},
{"role":"user","content":"صنف البند القانوني: يلتزم الطرف الثاني بسداد المبلغ المستحق خلال 30 يوما."}]
tokens = tok.apply_chat_template(prompt, enable_thinking=False, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(tokens, do_sample=False, max_new_tokens=18)[0][tokens.shape[-1]:], skip_special_tokens=True))
Подробнее
ПодробнееSilver-label прокси: accuracy 0,8033 и Macro-F1 0,7918 после файнтюна; это не реальная test-accuracy.
Локальный GSM8K: 0,73333 numeric exact match на 60 задачах, неофициально.
Данные: 409 пилотных примеров, silver-метки автоматические, без экспертной аннотации.
Лицензия исходника и права на данные не задокументированы — перед публикацией нужна проверка.










Comments