Resemble Enhance LiteRT

Экспериментальная LiteRT-конверсия модели Resemble Enhance от SayedShaun для локального шумоподавления и улучшения речи. Включает пять LiteRT-моделей: веса хранятся в float16, входы, выходы и вычисления на CPU — float32. Общий размер — около 712 MB.

📌 Ключевые особенности

• 🎧 Локальная очистка и улучшение речи без облака.
• 💻 Python-инференс через ai-edge-litert, NumPy и SciPy; PyTorch не нужен.
• 📱 Есть Kotlin-API для Android: файлы из models/ копируются на устройство, запуск — в worker thread.
• 📌 На вход можно подать mono или массив NumPy (frames, channels); выход — mono float32 44.1 kHz.
• ⏰ Обработка идёт перекрывающимися окнами примерно по 1 секунде.

💻 Пример

import soundfile as sf
from inference import ResembleEnhancer

model = ResembleEnhancer('SayedShaun/resemble-enhance-litert')
audio, sample_rate = model.enhance('input.wav')
sf.write('enhanced.wav', audio, sample_rate)

Подробнее

Всего пять LiteRT-моделей, общий размер ~712 MB; веса float16, вычисления CPU float32.
Python-инференс тестировали на Linux x86-64 с Python 3.12; Android-пайплайн ещё не запускали на устройстве или эмуляторе.
В сравнении с PyTorch на шумовом сэмпле 49 из 44 100 значений превысили atol=0.002, rtol=0.002; максимальная разница — 0.00378.
Чанки по 1 секунде могут давать артефакты; это экспериментальная конверсия, а не официальный релиз Resemble AI.