caramel-1

caramel-1 — экспериментальная speech-to-speech модель от naklecha на 413M параметров, вдохновлённая Dessa. Она обучена только на записях человеческой речи и никогда не видела текст; код, рецепт обучения и веса открыты.

🔥 Ключевые особенности

• 😮 Две копии модели общаются друг с другом в реальном времени: каждые 80 мс каждая решает, говорить или молчать.
• 🚀 Генерация примерно в 11 раз быстрее реального времени на GPU; на MacBook Pro M3 Pro две копии вместе идут примерно в 4 раза быстрее реального времени.
• 🤔 Нет voice activity detector и правил очерёдности: модель предсказывает момент речи так же, как аудио.
• 🔥 Обучена на 11 555 часах публичной речи: 5 743 ч диалогов и 5 812 ч монологов; за обучение прошла около 33B токенов.
• 💯 Лицензия Apache 2.0; есть скрипты запуска и обучения.

🚀 Пример

./setup.sh ./caramel-1
source ./.venv/bin/activate
python generate.py --model ./caramel-1 --seconds 30 --realtime
python generate.py --model ./caramel-1 --prompt opening.wav --seconds 30 --out talk.wav

Подробнее

UTMOS 2.49 против 2.50 у реальных людей; одновременная речь 8.8% против 9.0%.
Обучение заняло около 2 ч 15 мин (~4 GPU-часа).
Ограничение: многие фразы пока не имеют смысла, а детектор всё ещё легко отличает синтез от людей (3.49 против −0.92).
Лицензия Apache 2.0.