ZONOS3-Mini-transformers
компактный синтез речи на 43 языка с клонированием голоса
2 мин чтенияобновлено
ZONOS3-Mini от команды Zyphra — это лёгкая модель для преобразования текста в речь (TTS), которая поддерживает 43 языка, включая русский, и умеет копировать тембр по короткому аудиофрагменту. Данный репозиторий представляет собой нативный порт модели под библиотеку transformers, поэтому для запуска не требуется разрешать выполнение стороннего кода (trust_remote_code). В основе лежит гибридная архитектура с разреженными экспертами (latent MoE — механизм, при котором для каждого токена активируется лишь малая часть параметров), благодаря чему при общем объёме 0,9 млрд параметров на токен задействуется всего около 100 млн. Модель подойдёт разработчикам голосовых ассистентов, сервисов озвучки и локальных ботов, где важна высокая скорость работы и поддержка множества языков.
Ключевые особенности
- 43 языка из коробки: поддержка русского, английского, европейских и азиатских языков в одной модели.
- Клонирование голоса и 27 пресетов: в комплекте идут 27 готовых голосов, а также возможность скопировать любой другой голос по референсному аудио длительностью до 60 секунд с частотой 44,1 кГц.
- Гибкая настройка подачи: можно управлять громкостью, скоростью речи, частотой (
fmax) и степенью схожести с образцом черезspeaker_guidance. - Нативная интеграция с transformers: работает через стандартные классы
AutoModelForTextToWaveformиAutoProcessorс использованием аудиокодека ZAC-1.
Что можно сделать
- Создать мультиязычного голосового бота: озвучивать ответы нейросети на русском и других языках с низкой задержкой за счёт 100 млн активных параметров.
- Озвучивать видео и подкасты: использовать один из 27 встроенных голосов или клонировать собственный голос по короткой записи для генерации реплик.
- Автоматизировать чтение текстов и цифр: подключить пакет
zyphra-textnormдля корректного проговаривания дат, валют, чисел и единиц измерения.
Пример
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoModelForTextToWaveform, AutoProcessor
model_id = "Zyphra/ZONOS3-Mini-transformers"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForTextToWaveform.from_pretrained(model_id, device_map="auto")
voice = load_file(hf_hub_download(model_id, "voices/Savannah.safetensors"))
inputs = processor.apply_chat_template([{"role": "user", "content": "Hello!"}], tokenize=True, return_dict=True, processor_kwargs={"speaker_reference_codes": [voice["codes"]]}).to(model.device)
processor.save_audio(processor.decode(model.generate(**inputs)), "zonos3_mini.wav")Подробнее
Архитектура: 11 слоёв (9 Gated DeltaNet + 2 global attention), latent MoE на 64 эксперта (top-2 routing), контекст 32 768 токенов.Токенизация и звук: текстовый токенизатор SuperBPE (8 192 токена), аудиокодек ZAC-1 на 15 Гц с 10 кодовыми книгами, частота дискретизации 44,1 кГц.
Формат весов: языковая часть в
bfloat16, кодировщик диктора MECT-B2 (192-мерный эмбеддинг) в float32.Лицензия: Apache-2.0.










Комментарии