Fade Aligner
быстрое выравнивание фонем
1 мин чтенияобновлено
Fade Aligner — инструмент фонемного forced alignment: принимает аудио и транскрипт и возвращает для каждой фонемы начало и конец. Построен на Stylish-TTS/StyleTTS 2, акустика — TDNN-BLSTM с CTC, декодирование — HMM Viterbi. Демо-модель для английского: 5,0 млн параметров, файл 20 МБ, обучена на LibriTTS-R train-clean-100 (50 ч).
Ключевые особенности
- Возвращает границы фонем в JSON и Praat TextGrid с уровнями phones и words.
- Транскрипт фонемизируется espeak-ng; работает для любого языка с голосом espeak-ng, таблица фонем общая.
- Акустическая модель — небольшой TDNN-BLSTM с CTC на 100-bin mel-спектрограммах, декодирование — HMM Viterbi.
- Обучение: CTC с label priors, затем Viterbi-раунды, затем HMM-декодирование.
- Демо-модель: английский, 5,0 млн параметров, 20 МБ, LibriTTS-R train-clean-100 (50 ч).
Пример
python tools/align_folder.py --input my_clips --model model/latest.pt --lang en-us --out out
Подробнее
Главных бенчмарков границ нет: авторы не сравнивали ошибку с Montreal Forced Aligner. Средняя confidence на train — 0,55, у 1,2 % клипов ниже 0,3.Разрешение — 10 мс, минимальная фонема по умолчанию 30 мс. Демо-модель только для английского; клипы 1–20 с.
Внутренняя частота 44,1 кГц, LibriTTS-R (24 кГц) апсемплится, поэтому выше 12 кГц демо-модель не слышала.










Комментарии