Llama-F-Actor Mimi
полнодуплексная голосовая модель с настройкой поведения
2 мин чтенияобновлено
Llama-F-Actor Mimi (f-actor-mimi-behavior-sd) — открытая речевая диалоговая модель формата full-duplex (способна слушать и говорить одновременно, как в живом разговоре). Разработана исследователями из проекта JSALT2026-Conv-AI-Simulator на базе текстовой Llama-3.2-1B-Instruct и аудиокомпонентов Sesame/CSM-1B с кодеком Mimi, общий размер составляет 1,89 млрд параметров. В отличие от обычных голосовых ассистентов, модель умеет по текстовой инструкции менять манеру общения: регулировать частоту перебиваний, коротких реакций согласия и инициативность в диалоге. Пригодится разработчикам разговорных ИИ-агентов и исследователям естественной речевой коммуникации.
Ключевые особенности
- Построена на связке
Llama-3.2-1B-Instructи предобученного Depth Transformer изSesame/CSM-1Bс аудиокодеком Mimi. - Управляется явными инструкциями: позволяет задавать голос спикера, тему разговора, поведение (backchanneling — короткие реплики вроде «угу» и «понятно», а также перебивания) и инициацию диалога.
- Обучена в один этап без массивного претрейна: при замороженном аудиоэнкодере модели хватило 2 000 часов речевых данных.
- Первая открытая full-duplex модель с поддержкой инструкций, рассчитанная на воспроизводимые эксперименты при ограниченных вычислительных ресурсах.
Что можно сделать
- Создать голосового собеседника для англоязычного сервиса или симулятора диалогов, который не просто ждёт паузы, а естественно реагирует на речь пользователя.
- Протестировать разные сценарии общения в одном пайплайне — от вежливого слушателя с редкими поддакиваниями до активного собеседника, способного перебивать и брать инициативу.
- Использовать открытые веса и код обучения из репозитория авторов как базу для собственных исследований потоковых диалоговых систем.
Пример
В карточке модели не приведён готовый код инференса — авторы предлагают использовать код запуска и обучения из официального репозитория MaikeZuefle/f-actor на GitHub. В качестве входных параметров модели передаются текстовые инструкции, определяющие голос спикера, тему беседы и желаемую частоту backchanneling или перебиваний во время потокового аудиодиалога.
Подробнее
Параметры: 1,89B (на базе Llama-3.2-1B-Instruct и Sesame/CSM-1B).Язык: английский (en), библиотека — transformers.
Обучение: одноэтапный протокол на 2 000 часов данных с замороженным аудиоэнкодером.
Бенчмарки и требования к VRAM в карточке модели не указаны.










Комментарии