bilingual-slm-42m-tr050

Это базовая языковая модель на 42,5 млн параметров, обученная с нуля на 600 млн токенов — поровну турецкого и английского. Архитектура — decoder-only Transformer в раскладке Llama: 8 слоёв, ширина 512, 8 голов, контекст 1024 токена. Модель не instruction-tuned: она продолжает текст, а не следует инструкциям.

🔎 Ключевые особенности

• 📌 Обучена с нуля на 600M токенов: 300M турецкого FineWeb2-HQ и 300M английского FineWeb-Edu.
• ⚙ Llama-подобная архитектура: 8 слоёв, 512 hidden, SwiGLU, RMSNorm, RoPE, контекст 1024.
• 🔤 Общий byte-level BPE tokenizer на 32 768 токенов; турецкие суффиксы после апострофа не ломаются.
• 🧑‍💻 В проекте есть OpenAI-совместимый сервер с KV cache, continuous batching и SSE streaming.
• 📊 При смеси 50/50 validation BPB — 1.177 для турецкого и 1.179 для английского.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "DeerKaraca/bilingual-slm-42m-tr050"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
inputs = tok("Türkiye'nin en kalabalık şehri", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=40, do_sample=True)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

Бенчмарк: BPB 1.177 (tr) и 1.179 (en); monolingual-модели — 1.120 (tr) и 1.118 (en).
Обучение: 2 288 шагов по 262 144 токена, fp16 на одной NVIDIA T4, около 4,2 часа.
Ограничения: без chat template, факты ненадёжны, длинные ответы дрейфуют; только турецкий и английский.
Лицензия весов и кода — Apache 2.0.