Visteon MIO TTS en-jp 0.6B

Visteon MIO TTS en-jp 0.6B — production-модель синтеза речи для английского и японского, рассчитанная на on-device запуск на NVIDIA Jetson Orin. Основа — 0.6B decoder-only LLM, которая выдаёт 8 параллельных акустических кодбуков на 24 кГц; акустика уточняется TensorRT fp16-движком, аудио декодирует нейросетевой вокодер на ONNX Runtime.

✨ Ключевые особенности

• 🔥 Потоковый режим: TTFA 608 мс mean / 875 мс p95 на 20k предложений; RTF 0.157 mean / 0.189 p95 на Orin в fp16.
• 🎨 Zero-shot voice design: голос задаётся reference-audio промптом в .bin и выбирается на каждый запрос.
• ✅ Проверка разборчивости: ASR round-trip на 20k предложений и 5k ответах ассистента; в аудите не нашлось строк, где модель не произнесла входной текст.
• 🎲 Детерминированность: seed на запрос, стабильность после перезапусков; fast-start разбиение предложений снижает задержку первого чанка.
• 🌎 Автоопределение языка en/ja, нормализация чисел, единиц и URL, обработка смешанных скриптов.

💻 Пример

tar xzf visteon-mio-tts-runtime.tar.gz
cd visteon-mio-tts-runtime
./tts_inference no_bundle.trtfb assets_empty 18892 --mio-only &

Подробнее

TTFA на 5k ответах ассистента: p50 692 мс, p95 2166 мс; RTF ~0.5 при трёх инстансах.
Железо: Jetson Orin 64 GB, fp16; ауд��о 24 кГц mono PCM16.
Голосовой промпт — 5–15 с чистой речи с дословной транскрипцией.
Не медицинское/защитное устройство; синтетическую речь нужно маркировать.