norwegian-parakeet
норвежский speech-to-text на открытых данных
1 min read
Модель от ahdrage для распознавания норвежской речи (букмол, nb/no) на базе moondream/parakeet-ultra — посттренированного NVIDIA Parakeet TDT 0.6B v3. Дообучена только на речи с открытыми лицензиями: около 1 770 часов уникального аудио. Пишет текст с регистром и пунктуацией, декодирует жадно, без языковой модели.
Ключевые особенности
- 0,63B параметров, архитектура Parakeet TDT; в обучении участвовали все параметры.
- Около 1 770 ч уникального аудио; источники и лицензии перечислены в docs/DATA.md.
- Четыре прохода обучения с понижением learning rate; итоговый WER улучшался от прохода к проходу.
- Обучение шло на одной RTX PRO 4000 Blackwell (24 ГБ), суммарно около 35 часов.
- Клипы до 30 с; длинные записи нужно сначала нарезать — это не тестировалось.
Пример
import torch
from transformers import AutoProcessor, ParakeetForTDT
processor = AutoProcessor.from_pretrained("ahdrage/norwegian-parakeet")
model = ParakeetForTDT.from_pretrained("ahdrage/norwegian-parakeet").eval()
inputs = processor(audio, sampling_rate=16000, return_tensors="pt")
with torch.no_grad():
out = model.generate(**inputs)
print(processor.batch_decode(out.sequences, skip_special_tokens=True)[0])
Подробнее
WER: Tuva 3,1%; NST 4,2%; NPSC 6,1%; FLEURS 7,4%; NB Samtale 17,7%.Оценка на клипах до 30 с; на Stortinget и NorGovPCC транскрипты отредактированы, поэтому WER завышен.
Веса — CC BY 4.0, код — Apache-2.0; для коммерческого использования есть нерешённые вопросы по лицензиям NST и Stortinget.










Comments