Liwet-163M-id-chat

Liwet-163M-id-chat — это 163M-параметровая dense-модель для чата на индонезийском, дообученная SimPO на базе Liwet-163M-id-instruct. Разработка Group 11 (Telkom University); архитектура IndonesianChatLM: 16 слоёв, GQA 12Q/4KV, RoPE, SwiGLU и контекст 2048 токенов.

➕ Ключевые особенности

• ▶ 163M параметров, веса в SafeTensors bfloat16.
• ▶ SimPO-выравнивание по предпочтениям: beta=2.0, gamma=0.5, 1 эпоха.
• 🔤 Словарь 32 000 Byte-Level BPE; формат промпта User/Assistant с <bos> и остановкой на <eos> или User:.
• ➖ Кастомные PyTorch-веса: это не стандартный transformers AutoModelForCausalLM, нужна архитектура из репозитория.
• ➖ Рекомендуемые параметры сэмплинга: temperature=0.55, top_k=40, top_p=0.9, repetition_penalty=1.15.

▶ Пример

from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from tokenizers import Tokenizer

repo_id = "fadhilahkhairogi/Liwet-163M-id-chat"
state_dict = load_file(hf_hub_download(repo_id, "model.safetensors"))
tokenizer = Tokenizer.from_file(hf_hub_download(repo_id, "tokenizer.json"))

Подробнее

SimPO final, step 513: val_loss 0.8306, val_acc 65.0%; held-out test_acc 55.6%.
Обучение: 8 340 train / 512 val пар предпочтений, затем 570 held-out test пар.
Ограничения: контекст 2048 токенов, только индонезийский, кастомный код загрузки.
Данные: aksara-dpo-id-v2, IndoPref и t5gemma2-indonesia-chat-formatted.