Haru-4B
полнодуплексный голосовой ИИ, который слушает и говорит одновременно
2 мин чтенияобновлено
Haru-4B от higurashi-ai — это базовая модель для непрерывного голосового диалога в реальном времени с низкой задержкой и поддержкой 9 языков, включая русский. В отличие от обычных голосовых ассистентов, которые ждут окончания фразы пользователя, модель работает в режиме full-duplex (полный дуплекс — одновременный приём и передача речи, как при обычном телефонном звонке). В её основе лежит языковая модель Qwen3.5-4B, дополненная акустическим кодеком VibeVoice и лёгкой головой генерации звука MeanFlow, которая синтезирует речь всего за один шаг без дискретных аудиотокенов. Модель пригодится разработчикам и исследователям голосовых агентов, интерактивных персонажей и диалоговых систем с живой реакцией.
Ключевые особенности
- Нативный full-duplex на частоте 7.5 Hz: каждые 133 мс модель принимает один фрейм речи пользователя и сразу выдаёт свой фрейм аудио и текста — входной и выходной потоки суммируются в одной позиции языковой модели.
- Непрерывный звук за 1 шаг: аудио представлено 64-мерным латентом на фрейм, который генерируется 4-слойной MLP-головой с сэмплированием MeanFlow напрямую из скрытого состояния LLM.
- Настройка голоса и персонажа: характер собеседника задаётся текстовой карточкой в системном промпте, а голос клонируется по короткому референсу длиной от 3 секунд до 3 минут.
- Мультиязычность: модель работает на русском, английском, испанском, португальском, немецком, французском, китайском, японском и корейском языках.
Что можно сделать
- Поднять локальный голосовой чат с веб-интерфейсом: запустить встроенный сервер с веб-демо или нативное приложение для macOS на базе MLX для живого общения без облачных API.
- Создать интерактивного персонажа: описать роль в текстовой карточке и загрузить образец голоса, чтобы получить собеседника, способного перебивать и реагировать по ходу речи.
- Встроить в собственный сервис: использовать Python API для пошаговой обработки аудиопотока (3200 сэмплов при 24 kHz на вход и выход) или развернуть модель через плагин для vLLM-Omni.
Пример
from haru import DuplexSession, HaruModel
from haru.audio import load_audio, prepare_reference
model = HaruModel.from_pretrained("higurashi-ai/Haru-4B")
voice = prepare_reference(load_audio("voice.wav"))
session = DuplexSession(model, system_prompt=card, reference=voice)
frame = session.start() # первые 133 мс: frame.audio и frame.textПодробнее
Архитектура: Qwen3.5-4B (32 слоя, hidden size 2560) + кодек VibeVoice (24 kHz) + 4-слойная MLP MeanFlow (общий объём весов ~5.27B в bfloat16).Железо: для запуска на NVIDIA GPU требуется около 12 ГБ VRAM; также доступна реализация на MLX для macOS.
Ограничения: это предобученная базовая исследовательская модель — она поддерживает естественный диалог, но не гарантирует точность фактов и не следует инструкциям как полноценный ассистент. Лицензия Apache 2.0.










Комментарии