Whisper large-v3 copy-heads-off

Это Whisper large-v3 (1.54B) с отключёнными 11 головами decoder self-attention, которые копируют предыдущий текст и вызывают повторы на длинных записях. Ничего не дообучали: веса изменены одной арифметической правкой, остальные тензоры, имена и fp16 совпадают с оригиналом. Ориентирована на длинные аудио на датском и английском, особенно через whisper.cpp.

⚡ Ключевые особенности

• 🔄 Обнулены 64 столбца out_proj у 11 голов decoder self-attention; изменены 9 из 1259 тензоров, без тренировки.
• 📉 На 30 скрытых датских записях длинные повторы сократились с 21 до 1, слова из повторов — на 94%.
• 🟢 Случайные правки такого же размера не дали похожего эффекта; FLEURS da_dk WER 12.56% → 12.45%.
• ⚠ Строгий порог почти достигнут: нужно −80% повторов, получено 76%; Lost Audio 15 против 14.
• 🖥 Есть fp16 safetensors и ggml f16/q5_0; на q5_0 число повторов на held-out упало на 79%.
• ⛔ Не лечит выдуманный текст в тишине — нужен VAD; на коротких аудио выигрыша нет.

💻 Пример

import torch
from transformers import pipeline

asr = pipeline("automatic-speech-recognition",
    model="emillykkegrann/whisper-large-v3-copy-heads-off",
    torch_dtype=torch.float16, device="cuda")
out = asr("long_recording.wav", return_timestamps=True)
print(out["text"])

Подробнее

Правка: обнулены 64 столбца out_proj у 11 голов decoder self-attention; изменены 9 из 1259 тензоров, обучения не было.
На длинных датских записях WER 31.0% → 19.7% (timestamps), на английских длинных клипах Codictate 17.6% → 1.7%.
Тесты в основном whisper.cpp/crispasr на Apple Silicon; английский проверен на 8 длинных клипах.
Ограничения: нужен VAD, на коротких аудио выигрыша нет, датский WER не улучшается.