Qwen2.5-1.5B-Legal-ID-GRPO
маленькая модель с рассуждением для индонезийского права
2 min read
Это GRPO-дообученная версия tnromy/Qwen2.5-1.5B-Legal-ID-SFT от автора tnromy на базе Qwen2.5-1.5B (1,54 млрд параметров). Модель учится сначала писать рассуждение в <think>...</think>, а затем давать финальный ответ на индонезийском. Задумана как генератор в RAG-чатботе юридической команды; это учебный проект, а не юридическая консультация.
Ключевые особенности
- Обучена через GRPO: TRL
GRPOTrainer+ Unsloth. - Формат ответа: блок <think> с пошаговым рассуждением, затем финальный ответ на индонезийском.
- LoRA r=16, alpha=32 на attention и FFN; 200 шагов, batch 6, 6 генераций на промпт.
- Reward-функции: за формат, длину рассуждения, корректность и язык ответа.
- «Legal-ID» — цель системы, а не данные: правовые знания должны подаваться через RAG.
- Лицензия Apache-2.0; не подходит для реальных юридических решений без человека и проверки источников.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "tnromy/Qwen2.5-1.5B-Legal-ID-GRPO"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")
text = tok.apply_chat_template([{"role": "user", "content": "Jelaskan perbedaan pekerja tetap dan kontrak."}], add_generation_prompt=True, tokenize=False) + "<think>\n"
out = model.generate(**tok(text, return_tensors="pt").to(model.device), max_new_tokens=400)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Средний total reward на шагах 110–200: 2,29–2,65; format reward 0,69–0,86; correctness reward 0,02–0,20.Обучение: 1×NVIDIA Tesla T4 (Kaggle), ~1 ч 41 мин, 4-bit NF4 + double quantization, adapter merged в 16-bit.
Ограничения: рассуждение не гарантирует правду; без reasoning trigger возможны пропуски </think> или повторные блоки; оценка только по reward-кривым и качественным тестам, без стандартных бенчмарков.
Данные: 800 примеров
Ichsan2895/alpaca-gpt4-indonesian (синтетика), поэтому возможны bias и ошибки.









Comments