Ethoric-10M

Ethoric-10M — decoder-only языковая модель на 9,97 млн параметров от Tech.us. Архитектура сочетает RMSNorm, RoPE, GQA и SwiGLU, а также Peri-LN, короткие causal depthwise-свёртки Canon и headwise sigmoid gate. Обучена на 15 млрд токенов с 4-млрд cooldown; это исследовательский артефакт, а не ассистент.

🔎 Ключевые особенности

• ⚙ 12 слоёв, hidden size 256, 8 голов внимания и 2 KV-головы (GQA).
• 🧭 Peri-LN: RMSNorm до и после каждого подслоя для стабильности обучения.
• 📡 Canon-слои — causal depthwise-свёртки с kernel 4 перед attention и MLP.
• 🎯 Per-head QK-norm и headwise sigmoid gate управляют выходом каждой головы.
• 🔅 В слое 0 локальное внимание на 16 токенов, в слоях 1–11 — полное causal.
• 📌 Контекст до 512 токенов, словарь 5 048 токенов, веса FP32, лицензия MIT.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = 'techdotus/Ethoric-10M'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True).eval()
ids = tok('The climate change', return_tensors='pt').input_ids
out = model.generate(ids, max_new_tokens=32, do_sample=False, eos_token_id=1)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

0-shot acc_norm: PIQA 59,85%, ArithMark-3 41,60%, ARC-Easy 37,58%; HellaSwag 28,75% и ARC-Challenge 24,66% близки к случайному уровню.
Обучение: 15 млрд токенов + 4 млрд cooldown, документы упакованы в 512-токенные последовательности с document masking.
Ограничения: повторяющиеся или несвязные генерации, только английский, нет instruction tuning и safety alignment.
Генерация поддерживает greedy и top-k; repetition_penalty игнорируется.