sava-telephony
файнтюн стриминговой модели SAVA для телефонных линий
2 мин чтенияобновлено
Модель основана на архитектуре SAVA (25.5 млн параметров, Mamba-2 и sliding-window attention) от Inworld и оптимизирована для работы со звуком низкого качества через телефонные линии. Оригинальная SAVA теряет точность на телефонии, поэтому этот файнтюн обучен на симулированных телефонных линиях (8 кГц, кодеки и фильтрация). В результате точность определения конца реплики на симулированной стационарной линии выросла с 89.5% до 93.0%, а на мобильной (GSM) — с 88.5% до 92.4%. Модель полезна разработчикам голосовых ассистентов, ботов и систем телефонии, которым важна быстрая детекция речи и пауз в реальном времени.
Ключевые особенности
- Файнтюн для телефонии: значительно лучше оригинала распознает речь и паузы через телефонные каналы связи и кодеки.
- ONNX и квантование: доступны PyTorch веса, стандартный ONNX и 8-битная квантованная ONNX-версия размером всего 27 МБ.
- Высокая скорость: один 40-мс фрейм обрабатывается на одном CPU-потоке Apple M4 Max за 1.2–1.5 мс.
- Совместимость: полностью сохраняет оригинальный стриминговый интерфейс и архитектуру upstream-модели.
Что можно сделать
- Интеграция в голосовой бот: встроить модель в пайплайн обработки звонков для быстрого определения момента, когда собеседник закончил фразу.
- Обработка аудиопотока: подключить инференс через ONNX Runtime для работы со звонками в реальном времени с апсемплингом до 16 кГц.
- Оптимизация под железо: использовать 8-битную квантованную версию
sava-telephony-int8.onnxдля снижения потребления памяти на сервере.
Пример
import numpy as np
import onnxruntime as ort
session = ort.InferenceSession("sava-telephony-int8.onnx", providers=["CPUExecutionProvider"])
state = np.zeros((1, 798707), dtype=np.float32)
def step(frame: np.ndarray) -> tuple[float, float]:
global state
_, lookahead, turn, state = session.run(None, {"pcm": frame[None], "state": state})
sigmoid = lambda x: 1.0 / (1.0 + np.exp(-x))
return float(sigmoid(lookahead[0, 0])), float(sigmoid(turn[0, 0, 0]))
Подробнее
• Архитектура: Mamba-2 и sliding-window attention, 25.5 млн параметров.• Точность (End-of-turn): wideband 93.5%, landline 93.0%, mobile 92.4%.
• Форматы: safetensors (102 МБ), ONNX (103 МБ), INT8 ONNX (27 МБ).
• Входные данные: 16 кГц моно float32 (звонки в 8 кГц требуют предварительного апсемплинга).
• Ограничения: улучшение измерено на симулированных линиях, рекомендуется тестирование на собственных реальных звонках.










Комментарии