Korean Textbook LoRA
корейский учебный ассистент
1 мин чтения
Это LoRA-адаптер на базе unsloth/gpt-oss-20b (20B параметров), дообученный на датасете maywell/korean_textbooks. Модель предназначена для генерации учебных материалов на корейском языке и загружается через PEFT.
Ключевые особенности
- Специализация: объяснение математики, науки, языка и обществознания на корейском.
- База: gpt-oss-20b; обучение выполнено через LoRA (Low-Rank Adaptation).
- Параметры обучения: 30 шагов, LoRA rank 8, alpha 16.
- Требования: GPU от 16 ГБ, рекомендуется 24+ ГБ; системная RAM от 16 ГБ.
- Ограничения: карточка указывает на корейский фокус и необходимость проверки фактов.
Пример
from transformers import AutoModelForCausalLM
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained('unsloth/gpt-oss-20b', device_map='auto')
model = PeftModel.from_pretrained(base, 'kisscuseme/gpt-oss-korean-model')
# далее tokenizer и generate() как в карточке
Подробнее
Обучение: 30 шагов, LoRA rank 8, alpha 16; целевые модули q/k/v/o/gate/up/down_proj.Железо: GPU от 16 ГБ (рекомендуется 24+ ГБ), RAM от 16 ГБ.
Ограничения: модель ориентирована на корейский язык, ответы нужно проверять, а вне корейского качество может быть ограничено.










Комментарии