audiojs/restore
студийная реставрация голоса на 48 кГц прямо в браузере
2 мин чтенияобновлено
Модель превращает запись речи или пения с телефона, из шумной комнаты или после сжатия кодеками в чистый студийный звук с частотой дискретизации 48 кГц. Она построена автором audiojs с нуля на базе архитектуры Vocos (8 блоков ConvNeXt со слоями self-attention) поверх STFT (кратковременного преобразования Фурье) и весит всего 35.9 МБ в формате ONNX. В отличие от классических шумодавов вроде DeepFilterNet3, нейросеть не просто убирает фон и реверберацию, а восстанавливает утраченные высокие частоты и исправляет фазу. Поддерживаются русский, английский и французский языки, а запускать модель можно локально через JavaScript в Node.js или прямо в браузере через WebGPU и wasm.
Ключевые особенности
- Полнополосный звук 48 кГц: восстанавливает срезанные кодеками или дешёвым микрофоном высокие частоты, достраивая их до 24 кГц.
- Компактный ONNX-формат: 17.9M параметров упакованы с весами float16 в файл размером 35.9 МБ (вычисления идут во float32).
- Запуск в браузере и Node.js: работает через пакет
@audio/neural-restoreна WebGPU, wasm или через Python-скрипты. - Три языка и вокал: обучалась на корпусах английской, французской и русской речи (включая студийный датасет Dialogs), а также на вокальных записях VocalSet.
Что можно сделать
- Очистить диктофонные и созвон-записи: прогнать голосовые дорожки с шумом комнаты, эхом, клиппингом или артефактами MP3, AAC и Opus.
- Встроить улучшение звука в веб-приложение: подключить модель в браузерный аудиоредактор или сервис подкастов без нагрузки на сервер благодаря WebGPU и wasm.
- Реставрировать вокальные партии: улучшить качество любительских записей пения, записанных вне студии.
Пример
import restore from '@audio/neural-restore'
let y = await restore(samples, { sampleRate: 44100 }) // mono Float32Array; the same rate and length backПодробнее
Метрики (24 тестовых примера VoiceBank с деградацией): LSD снизился с 3.30 до 0.79 (против 2.85 у deepfilter()), SI-SDR вырос с −5.2 до +6.0 дБ, PESQ — с 1.77 до 2.40, DNSMOS OVRL — с 1.97 до 2.89.Скорость: на Apple M4 Max фрагмент длиной 10.5 с обрабатывается за 0.36 с через WebGPU и за 1.3 с через wasm.
Обучение: 300 000 шагов с нуля на Apple M4 Max (в релизе веса шага 290k) с дискриминаторами HiFi-GAN и UnivNet и признаками WavLM Base+.
Ограничения: работает с одним каналом за проход (чанки по 10 с с перекрытием 1 с); метрики замерены только на английском языке, русская речь в обучении представлена 3 актёрами из Dialogs и синтетикой; лицензия OpenRAIL наследует ограничения датасета Dialogs.










Комментарии