Ying K1.5 Lite 200M
компактная китайская диалоговая LLM
1 мин чтенияобновлено
Это dense-модель на 210,2M параметров от Karasumikura, дообученная SFT на 365,9M токенов китайских инструкций. База — Ying-K1.5-Lite-200M-base, предобученная на 24,07B токенов; контекст 8192 со скользящим окном 1024. Модель отвечает по шаблону <|user|>/<|assistant|>.
Ключевые особенности
- Архитектура MM200: 16 слоёв, hidden 768, GQA 3:1, gated attention + QK-norm, словарь 16 006 токенов.
- Полнопараметрический SFT: 507 344 китайских инструкции, 2 эпохи, assistant-only loss mask.
- Вес в bf16 занимает 420,4 МБ; лицензия Apache-2.0, обучение шло на 8× MTT S4000.
- DPO не проводился — в этой версии только SFT.
AutoModel.generate()работает без KV cache и медленно пересчитывает контекст; для скорости естьmm200_runtime.py.
Пример
import sys, torch
from transformers import AutoTokenizer, AutoModelForCausalLM
d = "Karasumikura/Ying-K1.5-Lite-200M"; sys.path.insert(0, d)
tok = AutoTokenizer.from_pretrained(d, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(d, trust_remote_code=True, dtype=torch.bfloat16)
ids = tok("<|user|>Кратко объясни, что такое скользящее внимание<|assistant|>", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=128, do_sample=True, temperature=0.7, top_p=0.9, repetition_penalty=1.15)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))
Подробнее
Обучение: 24,07B токенов предобучения + 365,9M токенов SFT; DPO не проводился.Размер: 210,2M параметров, bf16, вес 420,4 МБ; 16 слоёв, hidden 768.
Ограничения: слабые фактические знания и многошаговые рассуждения, английский хуже китайского, нет обучения безопасности.
Скорость: без KV cache генерация медленная; для потоковой работы используйте
mm200_runtime.py.









Комментарии