Fun-CosyVoice3-0.5B-2512-dspark
ускоритель генерации речи для CosyVoice3
2 min readupdated
Специализированная draft-модель (лёгкая вспомогательная нейросеть для спекулятивного декодирования, которая заранее предсказывает несколько токенов, а основная модель быстро их проверяет), ускоряющая синтез и клонирование голоса на базе FunAudioLLM/Fun-CosyVoice3-0.5B-2512. Модель размером 0.24B параметров построена на архитектуре DSpark (3 слоя Qwen3 с замороженными эмбеддингами от основной модели) и работает в связке с движком sglang-omni. В отличие от аналога от SpeechSpec, она точнее угадывает речевые токены на английском и китайском языках, обеспечивая более высокий прирост пропускной способности без потери качества звука — распределение токенов остаётся идентичным оригиналу. Пригодится разработчикам голосовых сервисов, которым нужно снизить задержки при потоковом синтезе речи.
Ключевые особенности
- Прирост скорости без потери качества: ускоряет генерацию в 1.17–1.41x на английском и в 1.21–1.52x на китайском языке в зависимости от нагрузки, сохраняя точность распознавания (WER 1.27%, CER 0.23%).
- Снижение задержек: уменьшает p95 latency на 13–31% при разном количестве одновременных запросов по сравнению с запуском без draft-модели.
- On-policy обучение: обучена на 756 620 реальных ответах самой Fun-CosyVoice3 с учётом клонирования голоса и кросс-языковых сценариев.
- Открытая лицензия: распространяется под Apache-2.0, как и целевая модель.
Что можно сделать
- Ускорить потоковый TTS-сервер: подключить к
Fun-CosyVoice3-0.5B-2512в sglang-omni для снижения времени ожидания в голосовых ассистентах. - Масштабировать клонирование голоса: использовать на GPU при одновременной обработке множества запросов на английском и китайском языках с сохранением оригинального тембра.
Пример
sgl-omni serve --model-path FunAudioLLM/Fun-CosyVoice3-0.5B-2512 \
--tts_engine.engine.speculative_algorithm DSPARK \
--tts_engine.engine.speculative_draft_model_path wilsonzheng0327/Fun-CosyVoice3-0.5B-2512-dspark
Подробнее
Бенчмарки SeedTTS (1× H200, SGLang 0.5.23): среднее число принятых токенов за шаг (Accept) — 2.93 на EN (против 2.20 у SpeechSpec) и 3.09 на ZH (против 2.99).Задержка первого аудиочанка (First audio p95) при 16 одновременных запросах увеличивается на 6.0% на EN (с 284 до 301 мс) и на 2.7% на ZH.
Обучение: 8 эпох на 2× H200 (1 ч 36 мин), 222M токенов из LibriTTS-R, AISHELL-1, Common Voice zh-CN и YODAS2.










Comments