KaiLu 3
маленькая чат-модель с гибридным «мозгом»
1 min read
KaiLu 3 — чат-модель на 329M параметров, созданная с нуля командой KvcHub. В ней 16 быстрых gated short-convolution слоёв и 8 attention-слоёв; контекст — 1 024 токена, основной язык — английский. Модель обучали на 6,6B токенов, затем настраивали на диалоги и предпочтения людей.
Ключевые особенности
- Гибридная архитектура: 24 слоя, из них 16 gated short-convolution с kernel 3 и 8 attention.
- 329 353 216 параметров, hidden 1 024, SwiGLU 2 816, grouped-query attention и QK-norm.
- Контекст 1 024 токена, словарь 32 768 токенов, byte-level BPE; лучше всего работает на английском.
- Обучение: 6,6B токенов, около 460K диалогов SFT и DPO с β = 0,1.
- Использует формат
Lfm2ForCausalLMв Transformers 4.54+, но веса LFM2 не содержит — только схему слоёв. - Бесплатно для личного использования; для бизнеса нужно разрешение KvcHub.
Пример
Формат диалога из карточки:
<|system|>
You are KaiLu, a helpful assistant.
<|user|>
Hi!
<|assistant|>
Hello! How can I help?<|endoftext|>
Подробнее
Бенчмарки в карточке не приводятся.Веса в bfloat16/safetensors; контекст — 1 024 токена.
Ограничения: может уверенно ошибаться, терять нить в длинных диалогах и писать багованный код; safety-тестов сверх preference tuning не было.
Лицензия: личное и некоммерческое использование бесплатно, для бизнеса нужно разрешение.










Comments