QKVE-61M

QKVE-61M — экспериментальная языковая модель на 61,03 млн параметров от Sticzu. Она проверяет идею обучаемой модуляции value-векторов в attention: 30 блоков, d_model 384, GQA 3:1, RoPE и RMSNorm. Обучена на польском и английском, это proof-of-concept архитектуры, а не instruction-tuned ассистент.

🔍 Ключевые особенности

• ⚙ В QKVE добавлена проекция W_E: V_mod = (x W_V) ⊙ (1 + tanh(x W_E)); гейт в диапазоне (0, 2) не меняет знак.
• 🔄 GQA 3:1 — 12 query-голов и 4 KV/gate-голов; deep SwiGLU: 60 FFN-слоёв, d_ffn 512.
• 💻 Обучение на одной RTX 3090: ~1,08 млрд токенов, ~9 800 ток/с при ~11,5 ГБ VRAM.
• 🔗 Форматы: SafeTensors, PyTorch bin, TorchScript, ONNX и INT8 ONNX.
• 📊 Loss ~1.48 и perplexity ~4.40 на диалоговых данных; возможны фактические ошибки и слабая арифметика.

💻 Пример

tokenizer = AutoTokenizer.from_pretrained(model_dir)
model.load_state_dict(load_file(f'{model_dir}/model.safetensors'), strict=False)
prompt = '<|im_start|>user\nWytłumacz atencję.<|im_end|>\n<|im_start|>assistant\n'
ids = tokenizer.encode(prompt, return_tensors='pt').to(device)
out = model.generate(ids, max_new_tokens=80, temperature=0.7, top_p=0.9)
print(tokenizer.decode(out[0, ids.shape[1]:], skip_special_tokens=True).strip())

Подробнее

Loss ~1.48, perplexity ~4.40 на диалоговых данных.
Обучение: ~1,08 млрд токенов на одной RTX 3090, ~9 800 ток/с при ~11,5 ГБ VRAM.
Контекст 512 токенов (до 1024); это PoC, а не ассистент: возможны фактические ошибки и слабая арифметика.