Phi-4-mini Socratic Tutor
LoRA-адаптер, который учит математике вопросами
1 min read
Это LoRA-адаптер для microsoft/Phi-4-mini-instruct: модель отвечает как сократический репетитор по математике — ведёт ученика шаг за шагом и не выдаёт финальный ответ. Проект сделан в рамках лабораторного проекта IIT Madras (Group 2, Milestone 3).
Ключевые особенности
- QLoRA: rank 16, alpha 16, dropout 0.05; обучено 23.1M параметров.
- Просит ученика рассуждать: короткий вопрос или подсказка на каждом шаге.
- Финальный ответ не называется — это заложено в system-промпт и обучение.
- Обучение на 1,996 диалогах из SocraTeach_Multi и MathDial.
- Обучение на Kaggle T4 заняло около 49 минут.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
base = 'microsoft/Phi-4-mini-instruct'
tok = AutoTokenizer.from_pretrained(base)
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type='nf4')
model = AutoModelForCausalLM.from_pretrained(base, quantization_config=bnb, device_map='auto')
model = PeftModel.from_pretrained(model, 'IITM-2026T3-DSAI-GROUP2/Phi-4-mini-instruct-socratic-tutor')
# далее messages с system-промптом тьютора и tok.apply_chat_template(...)
Подробнее
На 100 held-out контекстах: leak rate 0.00, question rate 0.65, ROUGE-L 0.294, BLEU 0.174.QLoRA: 1 эпоха, lr 2e-4, max length 768, база в 4-bit NF4; обучение на Kaggle T4 — около 49 минут.
Ограничения: только английский; оценка на 100 контекстах; leak-проверка не ловит ответы словами; лицензия non-commercial.










Comments