Phi-4-mini Socratic Tutor

Это LoRA-адаптер для microsoft/Phi-4-mini-instruct: модель отвечает как сократический репетитор по математике — ведёт ученика шаг за шагом и не выдаёт финальный ответ. Проект сделан в рамках лабораторного проекта IIT Madras (Group 2, Milestone 3).

🔎 Ключевые особенности

• ⚙ QLoRA: rank 16, alpha 16, dropout 0.05; обучено 23.1M параметров.
• 💬 Просит ученика рассуждать: короткий вопрос или подсказка на каждом шаге.
• 🚫 Финальный ответ не называется — это заложено в system-промпт и обучение.
• 🗂 Обучение на 1,996 диалогах из SocraTeach_Multi и MathDial.
• 💻 Обучение на Kaggle T4 заняло около 49 минут.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
base = 'microsoft/Phi-4-mini-instruct'
tok = AutoTokenizer.from_pretrained(base)
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type='nf4')
model = AutoModelForCausalLM.from_pretrained(base, quantization_config=bnb, device_map='auto')
model = PeftModel.from_pretrained(model, 'IITM-2026T3-DSAI-GROUP2/Phi-4-mini-instruct-socratic-tutor')
# далее messages с system-промптом тьютора и tok.apply_chat_template(...)

Подробнее

На 100 held-out контекстах: leak rate 0.00, question rate 0.65, ROUGE-L 0.294, BLEU 0.174.
QLoRA: 1 эпоха, lr 2e-4, max length 768, база в 4-bit NF4; обучение на Kaggle T4 — около 49 минут.
Ограничения: только английский; оценка на 100 контекстах; leak-проверка не ловит ответы словами; лицензия non-commercial.