Grace-G1-55M
гибридная языковая модель на 55M параметров с нуля
2 min readupdated
Grace-G1-55M — компактная двуязычная (итальянский и английский) базовая языковая модель от BranchingNLP, обученная полностью с нуля на 10 млрд токенов. Вместо классического трансформера в ней используется гибридная архитектура в стиле Qwen3-Next: слои линейного внимания Gated DeltaNet чередуются с полным вниманием GQA (Grouped-Query Attention — групповое внимание для экономии памяти) в пропорции 3:1. Так как это базовая модель без дообучения на инструкциях (SFT), она умеет только продолжать заданный текст и не работает как чат-ассистент. Разработка пригодится исследователям и энтузиастам, которые изучают гибридные архитектуры, сверхмалые модели и работу оптимизатора Muon.
Ключевые особенности
- Гибридная архитектура (55.0M параметров): 12 слоёв сочетают Gated DeltaNet (из библиотеки
flash-linear-attention) и полное внимание с GQA, QK-norm, RoPE и выходным гейтом. - Обучение с нуля в режиме over-training: модель прошла 10B токенов (~182 токена на параметр) по расписанию WSD (warmup-stable-decay) на смеси веб-текстов, книг, кода, математики и Википедии.
- Нестандартная оптимизация: для обучения 2D-матриц использовался оптимизатор Muon, а для эмбеддингов и норм — классический AdamW.
- Открытая лицензия: веса модели и код доступны под лицензией Apache-2.0.
Что можно сделать
- Дообучить под свои задачи: использовать как лёгкую заготовку для SFT (supervised fine-tuning — дообучения на инструкциях) или адаптации под узкие задачи генерации текста на английском и итальянском.
- Исследовать гибридные архитектуры: протестировать поведение связки Gated DeltaNet + GQA и скорость инференса линейного внимания на малом масштабе.
Пример
import json, torch
from safetensors.torch import load_file
from proxy_arch import LM
from transformers import AutoTokenizer
cfg = json.load(open("config.json"))
model = LM("hybrid", cfg["vocab"], cfg["d"], cfg["layers"], cfg["heads"], cfg["kv"],
cfg["ff"], cfg["seq"], cfg["gdn_heads"], cfg["gdn_head_dim"], cfg["attn_every"], cfg.get("mixer", "gdn")).cuda()
model.load_state_dict(load_file("model.safetensors"))
tok = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
Подробнее
Итоговый validation loss: 2.5733, длина контекста — 2048 токенов, словарь BPE — 32768.Обучена на одной видеокарте RTX 3070 (8GB).
Требуется GPU с поддержкой CUDA и библиотека
fla-core (ядра Triton) — на CPU слои Gated DeltaNet не запускаются.Из-за малого размера (55M) модель имеет слабые знания фактов и логики и может выдумывать даты, имена и события.










Comments