vyralsampler-models-nc
ONNX-выравниватели речи для европейских языков
2 мин чтения
Набор из четырёх экспортированных в формат ONNX моделей на базе wav2vec2 (из корпуса VoxPopuli через torchaudio), созданный автором JensLantz для приложения VyralSampler. Модели решают задачу принудительного выравнивания речи (forced alignment) — определяют точные временные границы каждого произнесённого или пропетого слова в аудио и видео. В отличие от оригинальных версий, эти файлы работают напрямую через ONNX Runtime без необходимости устанавливать тяжёлый фреймворк PyTorch. Инструмент пригодится разработчикам аудио- и видеоредакторов, генераторов субтитров и систем нарезки семплов.
Ключевые особенности
- Поддержка четырёх языков: французского (
aligner_fr.onnx), немецкого (aligner_de.onnx), испанского (aligner_es.onnx) и итальянского (aligner_it.onnx). - Запуск без PyTorch: модели сконвертированы в ONNX (opset 17) и содержат метки символов прямо внутри метаданных файлов.
- Высокая точность конвертации: расхождение выходных значений с оригиналом на Torch не превышает
5e-5, а разметка границ слов соответствует алгоритму WhisperX 3.8.6.
Что можно сделать
- Встроить в приложение или пайплайн для автоматической нарезки голосовых и вокальных семплов из видеороликов.
- Использовать в связке с системами распознавания речи (аналогично WhisperX) для создания точных пословных субтитров без тяжёлых зависимостей.
Пример
В приложении VyralSampler модели загружаются в ONNX Runtime: на вход подаётся аудиодорожка из видео с речью или вокалом на французском, немецком, испанском или итальянском языке, а на выходе программа получает точные тайминги начала и конца каждого слова для нарезки фрагмента.
Подробнее
Базовые модели:VOXPOPULI_ASR_BASE_10K (FR, DE, ES, IT) из torchaudioЭкспорт: legacy exporter из PyTorch 2.8 (opset 17), веса не изменялись
Лицензия: CC BY-NC 4.0 (только некоммерческое использование)










Комментарии