SLM-ID-50M
компактная decoder-only база для индонезийского
2 min read
SLM-ID-50M от hakim32 (Muflikhul Hakim) — это base language model на ~58 млн параметров, обученная с нуля, а не через fine-tuning. Архитектура decoder-only в стиле Llama, контекст 512 токенов, словарь 16 000 BPE; модель позиционируется как основа для экспериментов с индонезийским и дальнейшего SFT.
Ключевые особенности
- Обучена на индонезийском корпусе AksaraLLM/aksara-pretrain-id: Wikipedia ID и CulturaX, 765 815 документов после SHA-1 дедупликации.
- 13 слоёв, hidden size 512, 8 голов attention, FFN 1 408, SwiGLU, RoPE, RMSNorm и weight tying.
- Чекпоинты в Safetensors: основной step 280 000 и дополнительный step 188 000 в INT8, FP16 и FP32.
- INT8-версия весит около 57 МБ — удобно для лёгких экспериментов с инференсом.
- На валидации step 280 000: loss 2,9412, perplexity 18,94; 90,0% на 200 синтаксических minimal pair.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "hakim32/slm-id-50m"
SUB = "pretrain_step_280000_fp16"
tok = AutoTokenizer.from_pretrained(MODEL_ID, subfolder=SUB)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, subfolder=SUB)
out = model.generate(**tok("Candi Borobudur terletak di", return_tensors="pt"), max_new_tokens=50)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Обучение: ~1,04 млрд токенов за 3 эпохи на 2 × NVIDIA Tesla T4 (Kaggle).Это base-модель без SFT: она не chatbot и предсказывает следующий токен, возможны hallucination.
Контекст ограничен 512 токенами; лицензия Apache 2.0.
90% minimal pair — только на указанном наборе из 200 пунктов, не общая оценка понимания языка.










Comments