vectabass-1.73b

Это base-LLM на 1.73B параметров (1.60B без эмбеддингов) от VectaBass, ячейка N6-D6 проекта AR square. Обучена на 60.8B токенов; архитектура Llama-like с exclusive self-attention (XSA), без instruction- и safety-тюнинга.

🧩 Ключевые особенности

• 🧩 22 слоя, ширина 2560, 40 query- и 20 KV-голов, GQA 2:1, SwiGLU, RMSNorm.
• 🌐 В основном английский, плюс валлийский, шотландский гэльский, ирландский, мэнский, корнуоллский и Scots.
• ⚙ Обучение: Muon + fp32 AdamW, batch 524 288 токенов, peak LR 0.00106, bf16.
• 🧊 Схема LR: warmup, constant, затем 1-sqrt cooldown к нулю в последних 20% токенов.
• 🔬 Часть лестницы от 100M до 1.6B non-embedding; есть seed2-реплики для оценки run-to-run шума.

💡 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("VectaBass/vectabass-1.73b-60.8bt-base-cooled")
model = AutoModelForCausalLM.from_pretrained("VectaBass/vectabass-1.73b-60.8bt-base-cooled", trust_remote_code=True, dtype=torch.bfloat16)
ids = tok("The Senedd is", return_tensors="pt")
print(tok.decode(model.generate(**ids, max_new_tokens=40)[0]))

Подробнее

Validation loss: 1.8331 nats/token на held-out canon.
Zero-shot: ARC-Easy 0.672, PIQA 0.732, MMLU 0.246.
Контекст 2048 токенов; запуск в bf16, обучение на 4× NVIDIA GH200 120GB.
Base-модель без safety tuning; может уверенно ошибаться. Языки: в основном английский плюс Celtic-источники.