GRT-30M-MoR

GRT-30M-MoR от MatterWaveAI — 31,63M-параметровая causal LM на архитектуре GRTForCausalLM с Mixture-of-Rotations. Это upcycled-вариант grt-30m: 12 MoR-блоков, по 4 rotational FFN-эксперта в каждом, hidden_size 256 и intermediate_size 1024. В модели нет ни одного nn.Linear.

👀 Ключевые особенности

• 🐙 31,63M параметров; 12 MoR-блоков и 48 rotational FFN-экспертов суммарно.
• 💪 Роутер GRTRotationalRouter работает на косинусном выравнивании фаз и тоже обходится без nn.Linear.
• 🔥 Углы и log-scales четырёх экспертов смешиваются до одной каскадной Givens-ротации: 4× ёмкость FFN при 1× вычислений тригонометрических ротаций.
• 🍒 Upcycle из grt-30m через zero-sum Walsh–Hadamard возмущения и специализация на 4 доменах: rotational_geometry, science_and_physics, code_and_algorithms, reasoning_and_language.
• 🐾 Обучение шло на Intel Arc 140T XPU (xpu:0) с PairAdam и Switch-style load balancing; лицензия Apache 2.0.

💪 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "MatterWaveAI/grt-30m-mor"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.float32)
inputs = tokenizer("The Givens Rotational Transformer replaces dense matrices with", return_tensors="pt")
out_ids = model.generate(**inputs, max_new_tokens=32, do_sample=False)
print(tokenizer.decode(out_ids[0], skip_special_tokens=True))

Подробнее

Валидация после специализации: loss 0,5115 и perplexity 1,67 (до upcycle — 5,8467 и 346,10).
Доменные loss: code_and_algorithms — 0,4334; rotational_geometry — 0,4991; science_and_physics — 0,5293; reasoning_and_language — 0,6442.
Загрузка экспертов почти равномерная: [0,250, 0,248, 0,256, 0,245], entropy 1,386 из 1,386.
Это исследовательская 30M-модель, а не замена крупным LLM; запуск в float32, отдельных требований к VRAM в карточке нет.