BERT-Base fusion_attn

Это вариант bert-base-uncased, в котором все 12 стандартных слоёв Multi-Head Self-Attention заменены на механизм fusion_attn из библиотеки NeuralOps. Модель дистиллирована на WikiText-2 по пайплайну NeuralOps 3-Stage GPU-Saturated Knowledge Distillation Pipeline за 300 секунд на NVIDIA RTX 3090. Задача — fill-mask / masked language modeling; язык — английский.

🧩 Ключевые особенности

• ⚡ Базовая модель — bert-base-uncased; все 12 стандартных слоёв Multi-Head Self-Attention заменены на fusion_attn из NeuralOps.
• 🧩 Дистилляция на WikiText-2: 300 секунд, 230 шагов, throughput 39 823,5 tokens/sec на NVIDIA RTX 3090.
• 💡 Задача — fill-mask / masked language modeling; язык — английский.
• 🔬 По данным карточки: masked token accuracy 91,63% после дистилляции против 68,42% у vanilla BERT teacher; MLM-PPL 0,00 против 6,84.
• ⚙ Peak GPU VRAM при дистилляции — 13 512 MB.

💡 Пример

from transformers import pipeline

unmasker = pipeline("fill-mask", model="tahamajs/bert-fusion-attn-sst2")
results = unmasker("NeuralOps makes deep learning models [MASK] and efficient.")
for res in results:
    print(f"{res['token_str']}: {res['score']:.4f}")

Подробнее

Бенчмарк в карточке: MLM-PPL 0,00 и masked token accuracy 91,63% после дистилляции; у vanilla BERT teacher — 6,84 и 68,42%.
Дистилляция: 300 с, 230 шагов, throughput 39 823,5 tokens/sec, peak VRAM 13 512 MB на RTX 3090.
Ограничения: оценка только на WikiText-2 с 15% masking и seed=42; язык модели — английский.