Haru-4B
мультиязычная модель полнодуплексного голосового диалога
2 мин чтенияобновлено
Haru-4B — это базовая предобученная модель с низким уровнем задержки (low-latency) для непрерывного полнодуплексного (full-duplex) живого общения, которая слушает и говорит одновременно, как при телефонном разговоре. Модель построена на текстовом бэкбоне Qwen3.5-4B (около 5.27 млрд параметров) и поддерживает сразу девять языков, включая русский. Она пригодится исследователям и разработчикам интерактивных голосовых ассистентов, ботов и приложений реального времени.
Ключевые особенности
- Нативный Full-Duplex на частоте 7.5 Hz. Каждые 133 мс модель принимает кадр аудио от пользователя и генерирует кадр собственного аудио и текста без взаимного ожидания.
- Непрерывное аудио за один шаг сэмплирования. Аудио представлено в виде 64-мерного латентного представления на кадр, которое создается небольшой MLP-головкой (многослойный персептрон, нейросеть прямого распространения) с MeanFlow сэмплированием.
- Управление характером и голосом. Текстовая карточка задает характер персонажа, а короткий референсный аудиоклип определяет нужный голос.
- Мультиязычность. Поддержка английского, испанского, португальского, немецкого, французского, китайского, японского, русского и корейского языков.
Что можно сделать
- Запустить локальный веб-сервер. Поднять демо-версию на NVIDIA GPU с помощью официального репозитория на PyTorch для общения с моделью в реальном времени.
- Создать приложение для macOS. Использовать реализацию на MLX для нативной работы на компьютерах Apple Silicon.
- Интегрировать в серверные решения. Настроить плагин для сервиса с помощью vLLM-Omni для быстрого развертывания.
- Клонировать голос. Задать индивидуальный голос модели с помощью чистого референсного аудиоклипа длительностью от 3 секунд до 3 минут.
Пример
Запуск сервера для общения с моделья в репозитории проекта:
git clone [https://github.com/higurashi-ai/Haru](https://github.com/higurashi-ai/Haru) && cd Haru
pip install -e ./haru
python -m haru.server --hf-repo higurashi-ai/Haru-4BПодробнее
Бэкбон: текстовая модель Qwen3.5-4B, 32 слоя, размер скрытого состояния 2560Аудио: акустический токенизатор VibeVoice (24 кГц, 3200 семплов на латент)
Аудио-головка: 4-слойный MLP с MeanFlow (1 шаг сэмплирования)
Требования: видеокарта NVIDIA с примерно 12 ГБ VRAM
Лицензия: Apache License 2.0










Комментарии