qwen3-1.7b-interview-coach
LoRA для техсобеседований
1 min readupdated
Это LoRA-адаптер поверх Qwen/Qwen3-1.7B, который превращает базовую модель в тренера по техническим собеседованиям: вместо шаблонных STAR-вопросов она задаёт сценарные вопросы по роли и отрасли. Обучен на 2000 примерах из InterviewForge_GenDS, только на английском.
Ключевые особенности
- LoRA: r=16, alpha=32, dropout=0.05; целевые модули q_proj, k_proj, v_proj, o_proj.
- Обучаемых параметров 6,4 млн из 1,72 млрд — 0,37%.
- Вопросы привязаны к бизнес-сценарию, стандартам и ограничениям; в карточке есть сравнение before/after.
- Обучение на Apple M5 через MLX заняло около 10 минут, стоимость $0.
- Адаптер конвертирован в PEFT и загружается в transformers.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer\nfrom peft import PeftModel\n\nbase = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-1.7B")\ntokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-1.7B")\nmodel = PeftModel.from_pretrained(base, "Bhavyaaaaaaaa/qwen3-1.7b-interview-coach")\nmodel = model.merge_and_unload()
Подробнее
Валидационный loss: 3,966 → 1,457 на шаге 400 (−63%); на шаге 600 начал расти.Данные: 2000 train + 200 validation + 50 test.
Ограничения: только английский; нишевые домены могут быть обобщёнными; safety/refusal базовой модели не дообучались.
Железо: Apple M5, MLX; VRAM не указана.










Comments