ribt
голос для роботов с задержкой 17,6 мс
2 мин чтения
ribt — английская TTS-модель на 54M параметров от Municipal Robotics. Она синтезирует речь потоково, чтобы робот успевал ответить, пока человек ещё рядом. В основе — цепочка lilt → acoustic (18,65M) → flow (21,88M) → Vocos (13,5M); все сети описаны в tensor IR tang и обучены без PyTorch.
Ключевые особенности
- Только английский (US) и один голос; выход 24 kHz.
- Первое аудио через 17,6 мс, RTF 0,027 на M4 Max (batch 1, warm, seed 0).
- Один шаг flow matching вместо 16-шагового teacher — добавляет детали, которые дал бы teacher.
- Одни и те же скомпилированные программы работают на Metal, CUDA, OpenCL, C и WebGPU.
- Голос дистиллирован из Kokoro-82M af_heart: 135 ч рендера, весов Kokoro в модели нет.
Пример
W=ribt-weights
target/release/ribt-tts synth --run $W \
--ckpt acoustic.safetensors --flow $W/flow.safetensors \
--nfe 1 --shortcut --temp 0.3 \
--voc $W/vocoder.safetensors --ref $W/ref.wav \
--seed 0 --pitch 1 --accent minnesota \
--text "Hi, I'm right here. What do you need?" --out-dir out/
Подробнее
Бенчмарки на M4 Max: первое аудио 17,6 мс, RTF 0,027; UTMOS 4,39 против 4,52 у Kokoro af_heart; WER на held-out 50 — 1,73% у обеих.Ограничения: только английский (US) и один голос; естественность немного уступает teacher.
Браузерной сборке нужен WebGPU и около 140 МБ загрузки при первом запуске.
Лицензия MIT; веса Vocos — MIT.










Комментарии