ZONOS3-Mini
компактный мультиязычный TTS в transformers
2 мин чтенияобновлено
ZONOS3-Mini от Zyphra синтезирует речь в 44,1 кГц моно на CPU или GPU. В одном чекпоинте собраны языковая модель на 1,04 млрд параметров, аудиокодек и энкодер спикера, поэтому для запуска хватает torch и transformers. Эта версия — упаковка для обычного transformers с trust_remote_code=True: доступны 27 готовых голосов и клонирование по аудиоклипу. Пригодится для озвучки ботов, приложений и прототипов без отдельного нативного рантайма. Русского языка среди перечисленных в карточке нет.
Ключевые особенности
- Мультиязычный синтез:
en_us,en_gb,fr_fr,de,es,it,pt_br,ja,cmn,ko; выход 44,1 кГц моно. - 27 готовых голосов, включая английские стили (Irish, British, ASMR, announcer и др.) и голоса для других поддерживаемых языков.
- Клонирование голоса по клипу через 192-мерный speaker embedding или готовые codec-коды.
- Запуск на CPU или GPU только с
torchиtransformers, без нативного рантайма. - Опциональная нормализация текста через
zyphra-textnorm: числа, даты, валюты и единицы читаются вслух.
Что можно сделать
- Озвучить ответы Telegram-бота или другого сервиса на одном из поддерживаемых языков.
- Собрать голосового ассистента с клонированным голосом: один раз посчитать
speaker_embeddingи переиспользовать его. - Менять громкость, верхнюю частоту и темп через
condition_valuesилиcondition_buckets. - Прототипировать TTS на CPU: один чекпоинт и вызов
generate().
Пример
import soundfile as sf
import torch
from transformers import AutoModel
model = AutoModel.from_pretrained("Zyphra/ZONOS3-Mini-hf", trust_remote_code=True)
model = model.to("cuda" if torch.cuda.is_available() else "cpu")
out = model.generate("Hello! This is ZONOS3-Mini.", voice="Savannah", seed=0)
sf.write("hello.wav", out.waveform.numpy(), out.sampling_rate)
Подробнее
Модель на 1,04 млрд параметров. LM в чекпоинте хранится в bfloat16: transformers 5 загружает как есть, 4.x — во float32 безdtype=torch.bfloat16; декодер кодека и энкодер спикера всегда во float32.Веса — Apache 2.0. Не включены редактирование речи, управление акцентами, LACI, фонемный вход, streaming decode и codec encoder.
Пайплайн
text-to-speech не поддерживается: он токенизирует текст до модели и пропускает нормализацию — вызывайте generate с сырым текстом.









Комментарии