Audio8-TTS-Realistic-Air

Audio8-TTS-Realistic-Air — обновление Edge0/Audio8-TTS-Preview-0.6b от TechnoBaptist: TTS-модель на 0.6B параметров (601 159 424 без кодека) с zero-shot клонированием голоса. Сохраняет компактную DualAR-архитектуру, но обещает заметно более реалистичную речь; поддерживает 23 языка, включая русский.

⚙ Ключевые особенности

• 🆕 Реализм: более естественная просодия и выразительность по сравнению с Preview.
• 🌐 23 языка: 11 из Preview плюс 12 новых, включая русский, арабский, хинди и португальский.
• 🎙 Zero-shot клонирование по референсной записи и точному транскрипту; есть генерация без референса.
• ⚙ DualAR: slow AR предсказывает semantic token на кадр, fast AR — codebooks кодека; 10 codebooks по 4096 записей.
• 📡 SGLang Omni: paged attention, dynamic batching и OpenAI-совместимый /v1/audio/speech.
• ✅ В комплекте 44.1 kHz кодек, tokenizer, processor и кастомный код Transformers.

🎙 Пример

import torch
from transformers import AutoModel, AutoProcessor
model_id = "Edge0/Audio8-TTS-Realistic-Air"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModel.from_pretrained(model_id, trust_remote_code=True, dtype=torch.bfloat16).eval().cuda()
inputs = processor(text=["Hello from Audio8."], reference_audio=["ref.wav"], reference_text=["Exact transcript."], return_tensors="pt")
inputs = {k: v.to("cuda") for k, v in inputs.items()}
output = model.generate(**inputs, max_new_tokens=1024, do_sample=True)

Подробнее

Seed-TTS EN/ZH: error 1.25%, SIM 0.704; CV3 (9 языков): 4.86%, SIM 0.661; MiniMax (24 языка): 5.89%, SIM 0.754.
Рекомендуются Python 3.10+ и CUDA-GPU; smoke-тест шёл в BF16 на NVIDIA H20. VRAM не указан.
Качество зависит от языка: на CV3 Thai WER 48.574%, Arabic 21.098%; стриминг и throughput не бенчмаркались.