LFM3-Audio-2B-Full-Duplex
полнодуплексный голосовой ИИ в реальном времени
3 мин чтенияобновлено
Адаптация базовой аудиомодели LiquidAI/LFM3-Audio-2B от автора MAdel121, превращающая её в полнодуплексного голосового собеседника с шагом обработки 80 ms. В отличие от оригинальной модели, которая работает строго по очереди, эта версия умеет одновременно слушать и говорить: она замолкает, когда её перебивают, не сбивается от коротких реплик одобрения пользователя и сама вставляет естественные «угу» и «да» без внешних модулей VAD (детектора речи), ASR (распознавания речи) и TTS (синтеза речи). Решение построено на лёгком LoRA-адаптере (небольшая надстройка над базовой моделью, 68 MB) и отдельной лёгкой голове Conv1D на 91K параметров для генерации реакций. Подойдёт исследователям и разработчикам локальных голосовых ассистентов, которым нужен живой диалог с низкой задержкой, в том числе на Apple Silicon.
Ключевые особенности
- Потоковый режим 80 ms: модель принимает аудиопоток пользователя
16 kHzи генерирует ответный звук24 kHzчерезLiquidCodecвнутри единого открытого диалога. - Устойчивость к репликам поддержки: обучение на временных окнах позволило удерживать речь при коротких комментариях пользователя вроде «да, точно» в
93.3%случаев против58.3%при покадровом подходе. - Изолированные реакции: отдельная голова Conv1D воспроизводит 3 заранее закодированных аудиофрагмента «угу/да» мимо KV-кэша основной модели, не засоряя её контекст и не мешая дальнейшим ответам.
- Сохранение знаний базы: дистилляция на собственных ответах модели с KL-якорем убрала утечки чужих персон и сохранила около
95%точности базовой модели на устных вопросах (29–30 / 120против31 / 120).
Что можно сделать
- Запустить локальный голосовой чат в браузере: протестировать живой диалог с перебиваниями в наушниках через встроенный веб-интерфейс
eval.live. - Обрабатывать готовые аудиозаписи: прогонять
.wavи.flacфайлы в офлайн-режиме черезeval.demoдля оценки таймингов и реакции на перебивания. - Встроить в исследовательский прототип ассистента: использовать готовый рантайм на
80 msкак компактную альтернативу тяжёлым каскадам из отдельных моделей распознавания и синтеза речи.
Пример
# Запуск живого голосового чата в браузере (требуются наушники)
python -m eval.live serve --out talks/local --key live
# Офлайн-тест на аудиофайле
python -m eval.demo run --champion --in user_input.wav --out demo_out
Подробнее
Бенчмарки (Full-Duplex-Bench v1.0, 727 клипов): TOR на паузах0.044 (синтетика) и 0.116 (CANDOR), релевантность при перебивании 4.38 / 5, медианная остановка при перебивании — 1.22 s.Железо и скорость: работает локально в
float32 на Apple Silicon (MPS) со скоростью 59 ms на шаг в 80 ms; длина сессии ограничена примерно 3 минутами из-за роста KV-кэша.Обучение и вес: LoRA (rank 16,
68 MB) обучена за 45 GPU-минут, Conv1D-голова весит 1.4 MB; требуются веса LiquidAI/LFM3-Audio-2B и Python 3.12.Ограничения и лицензия: только для некоммерческих исследований (LFM Open License v1.0 + некоммерческие датасеты); для работы в браузере обязательны проводные наушники, так как эхоподавление отключено.










Комментарии