Qwen2.5-0.5B MQA

Экспериментальный чекпоинт от tahamajs: в Qwen/Qwen2.5-0.5B заменили блоки внимания на Multi-Query Attention из реестра NeuralOps и дистиллировали на WikiText-2. Это не готовая чат-модель, а артефакт для изучения attention surgery и восстановления качества.

👀 Ключевые особенности

• 👉 Архитектурная замена: 18 из 24 слоёв получили mqa по схеме hybrid_3_1; 6 полных слоёв-якорей сохранены.
• 💪 MQA: один KV-head на все query-heads — меньше KV-cache и быстрее инференс, но с возможной просадкой качества.
• 🥳 Дистилляция: двухэтапная KD восстановила PPL с 541890.55 до 205.89 на WikiText-2.
• 💸 Ресурсы: 517 шагов, 180.3 с, пик VRAM 12234 MB; веса внимания — 82.27 MB.
• 😐 Ограничение: это attention-only чекпоинт для английского WikiText-2, нужен базовый Qwen2.5-0.5B и код NeuralOps.

💪 Пример

import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoModelForCausalLM
from scripts.benchmarks.qwen_zoo_train_mix import apply_qwen_attention_surgery
model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-0.5B', torch_dtype=torch.float16)
model = apply_qwen_attention_surgery(model, attn_key='mqa', pattern='hybrid_3_1')
ckpt = hf_hub_download(repo_id='tahamajs/qwen-2.5-0.5b-mqa-wikitext2', filename='attention_weights.safetensors')

Подробнее

PPL до KD: 541890.55; после KD: 205.89 (Δ −541684.67).
Пик VRAM: 12234 MB, 517 шагов за 180.3 с.
Веса внимания: 82.27 MB; нужен базовый Qwen2.5-0.5B.
Язык обучения — только английский WikiText-2; финальная PPL 205.89 остаётся высокой.