Chatterbox-Persian-TTS
персидский TTS без G2P
2 мин чтенияобновлено
Модель представляет собой полный فاینتیو (полноценное дообучение) архитектуры Chatterbox Multilingual на большой базе персидской речи объемом 417 часов. На вход подается обычный сырой персидский текст без необходимости предварительной фонемной разбивки или использования G2P (системы преобразования текста в фонемы). Продукт предназначен для разработчиков и исследователей, которым требуется качественный синтез персидской речи с поддержкой клонирования голоса по короткому образцу.
Ключевые особенности
- Полное дообучение (Full fine-tune) базовой модели на 417 часах персидской речи (около 109 тысяч аудиоклипов).
- Поддержка обработки сырого персидского текста напрямую без использования внешних модулей G2P.
- Наличие встроенной поддержки клонирования голоса (voice cloning) по чистому аудиофайлу длиной 5–10 секунд.
- Стабильные параметры генерации с пониженной температурой для уменьшения артефактов.
Что можно сделать
- Сгенерировать качественную персидскую речь из текста в готовом блокноте Google Colab.
- Создать голосового помощника или бота для озвучки текстов на персидском языке.
- Использовать инструмент клонирования голоса для переноса тембра на основе короткой аудиозаписи-референса.
Пример
import torch
from chatterbox.mtl_tts import ChatterboxMultilingualTTS, punc_norm
from safetensors.torch import load_file
model = ChatterboxMultilingualTTS.from_pretrained(device="cuda")
sd = load_file("t3_persian_v1.safetensors")
model.t3.load_state_dict(
{k[3:] if k.startswith("t3.") else k: v for k, v in sd.items()},
strict=False,
)
model.t3.to("cuda").eval()
wav = model.generate(
punc_norm("سلام، امروز هوا خوب است."),
language_id=None,
audio_prompt_path="ref.wav",
temperature=0.6,
repetition_penalty=1.5,
)
Подробнее
Бенчмарки (CER): на естественных текстах CER составляет 0.01–0.09, на сложных тестах со знаками и числами — 0.038–0.062.Частота дискретизации на выходе: 16 kHz.
Лицензия: MIT.
Ограничения: возможны редкие галлюцинации и повторения, требующие повторного запуска генерации.










Комментарии