Blacksmith-1a

Blacksmith-1a от TriusAI — decoder-only transformer на 522M параметров (20 слоёв, d_model 1280, 10 голов, MHA без GQA), обученный с нуля, а не файнтюн готовой модели. Рассчитан на английский язык; авторы прямо называют его исследовательским артефактом, а не продуктом.

🔥 Ключевые особенности

• 🦾 Архитектура NanoGPT: 20 слоёв, FFN 5120, LayerNorm, RoPE с interleaved-парами, untied embeddings; это не transformers-архитектура, поэтому AutoModel не подойдёт.
• 🔥 Контекст обучали поэтапно: 4k → 8k → 16k → 32k → 64k; для выхода за trained length используется YaRN.
• ✅ Есть GGUF для llama.cpp (архитектура gptneox): Q4_K_M на 327 MB и f16 на 1047 MB, с YaRN 2x и контекстом до 131072.
• 📉 Честно заявленные ограничения: почти нет мировых знаний, нет арифметики, retrieval надёжен только примерно до 1k токенов, только английский.
• 🧘 В репозитории — код модели, обучения, оценки и конвертации, логи и шаблон чата; веса и код под MIT.

👁 Пример

import torch
from code.model import NanoGPT
from code.tokenmaker import TokenizerVocabSize
from code.hyperparameters import d_model, n_heads, n_layers, max_seq_len
model = NanoGPT(TokenizerVocabSize, d_model, n_heads, n_layers, max_seq_len).cuda().to(torch.bfloat16)
ckpt = torch.load('blacksmith-1a.pt', map_location='cuda', weights_only=False)
model.load_state_dict(ckpt['model']); model.eval()

Подробнее

Обучение: претрейн ~9.9B токенов (SlimPajama 40%, Cosmopedia v2 35%, UltraChat 15%, OpenThoughts 10%), финальный loss 1.97; затем SFT и retrieval-SFT.
Железо: одна consumer iGPU Radeon 8060S с 96 GiB VRAM; GGUF Q4_K_M весит 327 MB, f16 — 1047 MB, контекст до 131072 через YaRN 2x.
Оценка: identity верно во всех формулировках; «столица Франции» — Paris в ~2–3 из 3 сэмплов; «2+2» — никогда.
Ограничения: только английский, нет надёжных мировых знаний и арифметики, retrieval надёжен лишь примерно до 1k токенов, нет tool use и safety-тюнинга.
Лицензия весов и кода — MIT; у обучающих корпусов свои условия, часть research-only/share-alike.