Compliance Decisions 0.8B
типизированные решения с вероятностями
1 min readupdated
Это не чат-модель, а decision-модель на базе unsloth/Qwen3.5-0.8B: она получает кейс и фиксированный лист типизированных вопросов, а возвращает по каждому вопросу распределение вероятностей по вариантам, без прозы. Файнтюн сделан через Unsloth Clef: LoRA-адаптер на бэкбоне плюс отдельная decision head.
Ключевые особенности
- Три типа вопросов:
choice,noulиscore; ответы машино-проверяемые. - Возвращает вероятности, а не текст — удобно для триажа, маршрутизации и калибровочно-чувствительных решений.
- Обучена на legal/regulatory кейсах и общих decision-вопросах: PrivaCI-Bench, AIReg-Bench и
LocalLLaMA/typed-decisions. - Это не обычный PEFT/transformers-адаптер: без Clef decision head модель не ответит на лист вопросов.
- Загружать нужно через
FastDecisionModelиз Unsloth, иначе голова не подхватится.
Пример
from unsloth import FastDecisionModel
model, tokenizer = FastDecisionModel.from_pretrained(
"souvickdascmsa019/compliance-decisions-0.8b",
max_seq_length=4096,
load_in_4bit=True,
)
FastDecisionModel.for_inference(model)
answers = model.predict(model, tokenizer, state, questions)
Подробнее
Accuracy/ECE:test — 0.8906/0.0237, test_aireg — 0.7778/0.0869, test_general — 0.7745/0.1406; pooled — 0.8586 на 8 565 решениях.4-bit загрузка — около 0.5 ГБ, GPU настоятельно рекомендуется; контекст 4096, при сервинге до 16384.
Релиз некалиброван: calibration-split на 951 строку не использован, уверенность стоит считать грубой.
test завышает качество из-за пересечения словаря с train; честнее смотреть на test_aireg. Модель 0.8B и не даёт юридических консультаций.









Comments