Kintu-2.0-30M
компактный чат на луганда
1 min read
Kintu-2.0-30M — 30-миллионная чат-модель от henryhale на базе Kintu-2.0-30M-Base, дообученная на диалогах на языке луганда. Это преемник Kintu-1.0-39M: архитектура в стиле Qwen3, 8 слоёв, скрытый размер 512 и контекст 512 токенов.
Ключевые особенности
- Архитектура Qwen3-style decoder (Qwen3ForCausalLM): RMSNorm, SwiGLU, RoPE (θ = 1e6), QK-norm, grouped-query attention (8 query / 4 KV heads), tied embeddings.
- 30,0 млн параметров: 8 слоёв, hidden size 512, MLP 1 664.
- Byte-level BPE-токенизатор на 6 400 токенов, обучен на данных предобучения.
- Контекст — 512 токенов.
- Полный файнтюнинг на 59 798 парах «промпт — ответ» на луганда и 685 многоходовых диалогах; loss считался только по ответам ассистента.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained('henryhale/Kintu-2.0-30M')
model = AutoModelForCausalLM.from_pretrained('henryhale/Kintu-2.0-30M')
messages = [{'role': 'user', 'content': 'Oli otya?'}]
enc = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors='pt', return_dict=True)
out = model.generate(**enc, max_new_tokens=100)
print(tok.decode(out[0, enc['input_ids'].shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарков в карточке нет.30,0 млн параметров; контекст — 512 токенов; обучение — fp16 на одной T4.
Дообучение: 59 798 пар и 685 многоходовых диалогов, по 3 эпохи; lr 5e-5 и 2e-5.
Требования к VRAM не указаны.
Ограничения: часто уходит от темы и путает факты; 68,5% токенов предобучения — переводы TinyStories, поэтому модель тяготеет к простым историям.










Comments