yejin-korean-8b-v3
корейский инструкционный 8B с дистилляцией
1 min read
Это 7,24B-модель для генерации текста на корейском: инструкции, знания, reading comprehension и multi-step reasoning. Построена от cooler8/yejin-korean-8b-v3-base: continued pretraining на ~49B корейских токенов, затем LoRA-файнтюн и sequence-level дистилляция от Qwen/Qwen3.6-27B-FP8. Вариант nothink использует пустой блок <think> </think> в шаблоне.
Ключевые особенности
- Корейский instruction-following: карточка указывает только язык
ko. - LoRA-файнтюн: rank 128, alpha 256, learning rate 2e-4.
- Обучение на mixK2: 95 107 корейских примеров — инструкции, знания, MRC и multi-step reasoning.
- Дистилляция от Qwen3.6-27B: Answer-First + Explanation + Answer-Confirm для знаний/MRC и CoT-First для reasoning/math.
- Проверка контаминации: 0 13-gram hits на 12 evaluation benchmarks.
- Лицензия Apache 2.0.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "cooler8/yejin-korean-8b-v3-cpt2s20000-distill-qwen36-mixK2-r128-nothink-v2"
model = AutoModelForCausalLM.from_pretrained(repo_id, torch_dtype="bfloat16", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(repo_id)
messages = [{"role": "user", "content": "한국의 수도는 어디인가요?"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(model.device)
inputs.pop("token_type_ids", None)
Подробнее
Параметры: 7,24B; в примере —bfloat16 и device_map="auto".Обучение: CPT-2 до шага 20 000, ~49B корейских токенов; LoRA r=128, alpha=256, lr=2e-4; 95 107 примеров mixK2.
Дистилляция: Qwen/Qwen3.6-27B-FP8 с разными форматами для знаний/MRC и reasoning/math.
Ограничения: карточка указывает только корейский; требования к VRAM/железу не приведены; это nothink-вариант.










Comments