Nalu 2.0 Base

Nalu 2.0 Base — открытая base-модель на 338M параметров (0.3B) от khtsly для кода Luau и Roblox. Это младшая модель семейства LuauCoder 2.0 (Moana 2B, Kai 0.6B, Nalu 0.3B); плотный decoder на 24 слоя. Чат-шаблона нет, поэтому модели нужно давать начало кода, а не инструкцию.

🔥 Ключевые особенности

• 🦾 338M параметров (304M без эмбеддингов), плотный decoder на 24 слоя.
• 🐆 18 слоёв с RoPE и 6 с NoPE; внимание CCVHA + DiffAttn V2 + XSA.
• 👁 16 query heads (8 вычисляемых), 2 KV heads, 8 output heads, head dim 128.
• ✅ SwiGLU, RMSNorm и QK-Norm, tied embeddings, словарь 32768, logit soft cap ±30.
• 📉 Это base-модель без chat template: она продолжает сырой текст, а не следует инструкциям.

🐈‍⬛ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "khtsly/Nalu-2.0-Base"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, dtype="bfloat16").to("cuda")
inputs = tok("local function lerp(a, b, t)", return_tensors="pt").to("cuda")
out = model.generate(inputs["input_ids"], attention_mask=inputs["attention_mask"], max_new_tokens=256)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

Бенчмарков в карточке нет.
Архитектура: hidden 1024, FFN 3072, 18 RoPE + 6 NoPE, CCVHA + DiffAttn V2 + XSA.
Ограничение: base-модель без chat template — нужен промпт-начало кода, а не инструкция.
Лицензия: Apache-2.0; в примере запуска — bfloat16 и CUDA (sdpa или flash_attention_2).