Jade 1.1
компактный TTS для запуска прямо на смартфоне
2 мин чтенияобновлено
Jade 1.1 — компактная мультиязычная TTS-модель (синтез речи из текста) от команды ETM-Network, рассчитанная на локальную работу на устройствах без мощного железа. Модель преобразует обычный текст напрямую в аудио с частотой 44.1 кГц без отдельного фонемайзера и поддерживает 23 языка, включая русский, а также 9 голосов на выбор. В основе лежит 12-блочный диффузионный трансформер (84M параметров), генерирующий латентные представления для декодера Supertonic 3 (25M параметров), всего — 109M параметров. В отличие от тяжёлых облачных решений, базовый квантованный вариант весит около 150 МБ и работает в 4 раза быстрее реального времени даже на процессоре смартфона среднего класса. Пригодится разработчикам мобильных приложений, оффлайн-ботов и голосовых интерфейсов.
Ключевые особенности
- Поддерживает 23 языка (в том числе русский) и 9 голосов (5 женских и 4 мужских), каждый из которых говорит на любом из доступных языков.
- Выпущена в форматах ONNX и MLX с квантованием q8 (150 МБ), q4 (81 МБ) и q3 (65 МБ), а также в исходном float32 (437 МБ).
- Работает в ~4× быстрее реального времени на мобильном CPU Snapdragon 778G+, в ~7× на десктопном Intel i9-13900KF и до ~250× на RTX 4090.
- Дистиллирована для генерации за малое число шагов (от 2 до 32, по умолчанию 12), что позволяет гибко балансировать между скоростью и стабильностью интонации.
Что можно сделать
- Встроить оффлайн-озвучку текста и функции доступности в Android-приложения или локальные сервисы без отправки данных в облако.
- Озвучивать длинные статьи и аудиокниги в нейтральной дикторской манере, используя вариант q8 на 12–16 шагах.
- Развернуть быстрый голосовой ответчик или прототип ассистента на Mac с чипами Apple Silicon через библиотеку MLX.
Пример
from etm_tts import TTS
tts = TTS() # скачивает onnx/quants/q8 (~150 МБ)
tts.speak("Hello! It's nice to finally meet you.").save("hello.wav")
tts.speak("Guten Morgen, wie geht es dir?", voice="Henry", lang="de").save("morgen.wav")
Подробнее
На тестовом наборе из 181 фразы (по 8 на язык) модель показала Character Error Rate 1.1% при распознавании через Whisper и сходство с целевым голосом 0.818 (WavLM) в режиме по умолчанию (q8, 12 шагов).Требует ONNX Runtime 1.28+ (для CUDA нужен onnxruntime-gpu) или
etm-tts[mlx] на Apple Silicon; есть отдельная библиотека для Android.Ограничения: язык нужно передавать вручную; числа, даты и сокращения читаются только на английском и немецком (для русского и остальных языков числительные нужно писать словами); нет управления эмоциями; на малом числе шагов (q4/q3) в длинных текстах возможны редкие скачки высоты тона.
Лицензия: BigScience OpenRAIL-M (код рантайма
etm-tts — Apache 2.0).









Комментарии