libwaifu-cosyvoice-3-visemes
синхронизация губ для CosyVoice3
2 min readupdated
Лёгкая модель-аддон от ling0322, которая предсказывает форму рта (визему) для каждых 40 мс речи, синтезированной моделью Fun-CosyVoice3-0.5B-2512. Она не генерирует сам голос, а подключается к пайплайну libwaifu и работает на CPU (процессоре) прямо во время стриминга звука, сохраняя синхронизацию независимо от скорости речи. На выходе получаются 8 базовых визем (A, E, I, O, U, @, MBP для смычки губ и REST для покоя), по которым можно анимировать лица 2D- или 3D-персонажей. Модель пригодится разработчикам виртуальных аватаров, голосовых ботов и интерактивных персонажей.
Ключевые особенности
- Распознаёт 8 базовых форм губ с шагом 40 мс, точно синхронизированных с аудиопотоком.
- Компактный вес 2.5 МБ (
safetensorsвfloat32) — работает на обычном процессоре без GPU. - Учитывает контекст из трёх токенов (текущий и два соседних) и не требует прямого доступа к весам самой CosyVoice3.
- Поддерживает три языка: китайский, японский и английский.
Что можно сделать
- Подключить к 2D/3D-аватару или VTuber-модели в пайплайне libwaifu для живого липсинка при стриминге речи.
- Использовать таблицу
cosyvoice3_visemes.tableв собственных проектах, если нужно определять форму рта по отдельным речевым токенам без учёта соседей.
Пример
WaifuModel *visemes = waifu_model_open("cosyvoice3-visemes.yaml");
waifu_pipeline_attach_model(pipeline, WAIFU_ATTACHED_MODEL_TEXT_TO_SPEECH_VISEMES, NULL, visemes);
waifu_request_set_int_attribute(request, WAIFU_REQUEST_TEXT_TO_SPEECH_VISEMES, 1);
// На выходе: WaifuViseme для каждых 40 мс аудиоПодробнее
Точность top-1 с учётом соседних токенов: 0.68 (0.71 для китайского, 0.69 для японского, 0.59 для английского).Смыкание губ (звуки m, b, p) определяется в 81% случаев, ложное закрытие на гласных — всего 1.9%.
Архитектура: один скрытый слой на 256 нейронов поверх эмбеддингов (3 × 80), запускается на CPU.
Лицензия Apache 2.0; неофициальный аддон к FunAudioLLM/Fun-CosyVoice3-0.5B-2512.










Comments