my-korean-model
LoRA-адаптер для корейских учебных материалов
1 мин чтенияобновлено
Это LoRA-файнтюн на базе unsloth/gpt-oss-20b (20B параметров), обученный на датасете maywell/korean_textbooks. Модель предназначена для генерации образовательного контента на корейском языке: объяснений по математике, науке, языку и обществознанию.
Ключевые особенности
- Специализация — учебные объяснения и материалы на корейском.
- Обучение — LoRA: rank 8, alpha 16; целевые модули q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.
- База и данные —
unsloth/gpt-oss-20bиmaywell/korean_textbooks, 30 шагов обучения. - Язык — корейский; на других языках качество может быть ограничено.
- Железо — GPU от 16 ГБ, рекомендуется 24 ГБ+; RAM от 16 ГБ.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("unsloth/gpt-oss-20b", device_map="auto")
model = PeftModel.from_pretrained(base, "dosa777/my-korean-model")
tok = AutoTokenizer.from_pretrained("dosa777/my-korean-model")
Подробнее
Обучение: 30 шагов, LoRA rank 8, alpha 16.GPU: минимум 16 ГБ, рекомендуется 24 ГБ+; RAM: минимум 16 ГБ.
Ограничения: модель заточена под образовательный корейский контент, сгенерированные факты нужно проверять.
В карточке ID адаптера указан как
dosa777/my-korean-model.









Комментарии