GRT-30M-Code

GRT-30M-Code — файнтюн MatterWaveAI/grt-30m от MatterWaveAI: 29 305 498 параметров, 12-слойный Givens Rotational Transformer (GRTForCausalLM) без nn.Linear и nn.Conv1d. Специализируется на генерации Python-алгоритмов с аннотациями типов и структурированных JSON-вызовов <tool_call>.

🔥 Ключевые особенности

• ✅ Python-синтез: функции для поиска, графов/массивов, динамического программирования, теории чисел, строк и линейной алгебры.
• ✅ JSON tool-calling: схема-совместимый JSON {"name": ..., "arguments": {...}} по инструкции разработчика.
• 🔥 Архитектура: 12 слоёв, полностью ротационный GRT; в основе ноль nn.Linear и ноль nn.Conv1d.
• 📉 Метрики: code token top-1 99.07%, tool-call token 90.69%, AST validity 91.67%, JSON schema match 83.33% (HuygensAdam).
• 🧘 Абляция: сравнили 8 классических геометрических, Riemannian и симплектических оптимизаторов из transformers.models.grt.optimization_grt.
• 🦾 Практика: карточка даёт quickstart на transformers; лицензия Apache 2.0.

🦾 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "MatterWaveAI/grt-30m-code"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.float32)
prompt = "<|im_start|>user\nWrite gcd(a: int, b: int) -> int<|im_end|>\n<|im_start|>assistant\n"
out = model.generate(**tok(prompt, return_tensors="pt"), max_new_tokens=48)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

В абляции 8 геометрических оптимизаторов лучший — HuygensAdam: val PPL 1.7632, Python AST validity 91.67%, JSON schema match 83.33%.
Обучение: 200 SFT-шагов на blocks[11:12] + final_norm + калибровка полярной фазы <|im_end|>, 811 907 обучаемых параметров, batch_size=16, lr=6.5e-3.
Ограничения: модель крошечная (30M) и заточена под код/tool-calling; данные о VRAM не указаны. Лицензия Apache 2.0.