Moonshine Base Welsh Compact
валлийский ASR на 53 млн параметров
1 мин чтения
Компактная версия валлийского распознавателя rebreda/moonshine-base-welsh, дообученного из Moonshine Base. 53.2M параметров, веса в fp16, скачивание 106 MB. Меньше и точнее предыдущей версии за счёт трёх правок весов без дополнительного обучения.
Ключевые особенности
- 53.2M параметров вместо 61.5M; 106 MB вместо 246 MB.
- Три правки без дообучения: усреднение чекпоинтов LoRA, отключение пяти голов decoder self-attention и урезанная токен-таблица до 12,735 токенов.
- Отключение голов снизило WER на Siarad с 87.0 до 76.4.
- Вход — 16 kHz mono, короткие фразы; выход — текст с регистром и пунктуацией.
- Для диктовки, голосовых команд, чтения и подкастов на валлийском; английские слова внутри валлийской речи.
Пример
from transformers import pipeline
asr = pipeline("automatic-speech-recognition", model="rebreda/moonshine-base-welsh-compact")
print(asr("clip.wav", generate_kwargs={"num_beams": 5})["text"])
Подробнее
WER: Common Voice 25.8, FLEURS Welsh 37.6, Siarad 76.8 (beam 5, без length cap).Среднее по Common Voice, FLEURS Welsh, Arfor и Siarad — 40.1 против 43.5 у прошлой версии.
Английский ухудшился: 21.0 WER против 16.6; для чистого английского лучше базовая версия.
Вес 106 MB в fp16; обучалась на одной AMD Radeon 8060S (ROCm, bf16). Siarad — свободная речь с code-switching, для неё модель всё ещё слаба; длинные записи резать на короткие сегменты.










Комментарии