Qwen3-ForcedAligner-Ultra
сверхточная расстановка таймингов слов по аудио
2 min readupdated
Модель решает задачу forced alignment (привязки готового текста к аудиозаписи с точными временными метками начала и конца каждого слова). Она построена на базе Qwen/Qwen3-ForcedAligner-0.6B (общий размер 0.92B параметров) и дообучена на 70 часах мультиязычной речи с поддержкой 11 языков, включая русский. Главная особенность — опциональный модуль Local Head, который преодолевает встроенный шаг сетки Qwen в 80 мс и уточняет границы слов с шагом 10 мс в пределах ±60 мс. Пригодится разработчикам систем субтитров, дубляжа и пайплайнов подготовки речевых датасетов.
Ключевые особенности
- Высокая точность границ: снижает среднюю абсолютную ошибку (MAE) со 124.95 мс до 34.95 мс, а с подключённым модулем Local Head — до 26.59 мс (78.32% границ попадают в окно ≤25 мс).
- Устойчивость к неточностям текста: обучалась на примерах с пропусками слов, ошибками распознавания (ASR), шумом, реверберацией и изменением скорости речи.
- 11 языков и смешанная речь: поддерживает русский, английский, китайский, французский, немецкий, итальянский, японский, корейский, испанский, португальский и кантонский, включая переключение языков внутри фразы (code-switching).
- Совместимость с официальным API: без Local Head запускается напрямую через стандартную библиотеку
qwen-asrбез модификации кода.
Что можно сделать
- Генерация пословных субтитров: расставлять тайминги для караоке-субтитров и видеороликов даже при наличии фонового шума или неидеальной расшифровки.
- Очистка и разметка датасетов: автоматически нарезать длинные аудиозаписи на сегменты по словам или восстанавливать тайминги после транскрибации с ошибками ASR.
- Инструменты для дубляжа и озвучки: синхронизировать переведённые реплики с оригинальной дорожкой с точностью до десятков миллисекунд.
Пример
import torch
from qwen_asr import Qwen3ForcedAligner
aligner = Qwen3ForcedAligner.from_pretrained(
"fengjay01/Qwen3-ForcedAligner-Ultra", dtype=torch.bfloat16, device_map="cuda:0"
)
results = aligner.align(audio="speech.wav", text="Пример текста для разметки.", language="Russian")
for word in results[0]:
print(word.text, word.start_time, word.end_time)
Подробнее
• Бенчмарк (6.5 ч аудио, 9 языков): доля ошибок >1000 мс снижена с 1.565% до 0.195%, точность ≤10 мс выросла с 22.09% до 47.11% (с Local Head).• Скорость на NVIDIA GeForce RTX 5070 Ti: RTFx 150x в базовом режиме и 95x с Local Head.
• Обучение: мультиязычный LoRA-файнтюн с усреднением трёх соседних чекпоинтов; кантонский и португальский сохраняют базовую поддержку Qwen и требуют проверки под задачу.










Comments