KaiLu 3

KaiLu 3 — чат-модель на 329M параметров, созданная с нуля командой KvcHub. В ней 16 быстрых gated short-convolution слоёв и 8 attention-слоёв; контекст — 1 024 токена, основной язык — английский. Модель обучали на 6,6B токенов, затем настраивали на диалоги и предпочтения людей.

⚙ Ключевые особенности

• 🧩 Гибридная архитектура: 24 слоя, из них 16 gated short-convolution с kernel 3 и 8 attention.
• ⚙ 329 353 216 параметров, hidden 1 024, SwiGLU 2 816, grouped-query attention и QK-norm.
• 🌐 Контекст 1 024 токена, словарь 32 768 токенов, byte-level BPE; лучше всего работает на английском.
• 🧬 Обучение: 6,6B токенов, около 460K диалогов SFT и DPO с β = 0,1.
• 💡 Использует формат Lfm2ForCausalLM в Transformers 4.54+, но веса LFM2 не содержит — только схему слоёв.
• 💵 Бесплатно для личного использования; для бизнеса нужно разрешение KvcHub.

🎯 Пример

Формат диалога из карточки:

<|system|>
You are KaiLu, a helpful assistant.
<|user|>
Hi!
<|assistant|>
Hello! How can I help?<|endoftext|>

Подробнее

Бенчмарки в карточке не приводятся.
Веса в bfloat16/safetensors; контекст — 1 024 токена.
Ограничения: может уверенно ошибаться, терять нить в длинных диалогах и писать багованный код; safety-тестов сверх preference tuning не было.
Лицензия: личное и некоммерческое использование бесплатно, для бизнеса нужно разрешение.