bandit-v2-multi-mlx
разделение аудиодорожек для MLX
1 мин чтения
Модель конвертирует официальные веса bandit-v2 multilingual для работы с фреймворком MLX (Swift / Python) на чипах Apple Silicon. Она выполняет кинематографическое разделение аудио на отдельные дорожки: речь, музыку и звуковые эффекты. Конвертация выполнена без квантования и переобучения, а тензоры приведены к формату safetensors. Инструмент пригодится видеомонтажерам, звукорежиссерам и разработчикам аудиоприложений под macOS.
Ключевые особенности
- Поддержка многоязычного разделения аудио (speech, music, sound effects)
- Формат safetensors для нативной работы через MLX
- Без квантования и потери оригинального качества весов
- Обработка моно-аудио с частотой 48 кГц порциями по 8 секунд
Что можно сделать
- Разделить аудиодорожку фильма или ролика на чистую речь, фоновую музыку и звуковые эффекты
- Интегрировать модель в локальные аудиоприложения для macOS на базе фреймворка MLX
- Очистить диалоги от посторонних шумов и музыки для постпродакшна
Пример
Модель принимает на вход моно-аудио с частотой 48 кГц (каналы обрабатываются раздельно) и обрабатывает его 8-секундными фрагментами с перекрытием для бесшовного склеивания результатов.
Подробнее
Модель основана на работе bandit-v2 (Netflix, arXiv:2407.07275).Объем модели: около 40 млн параметров (40MB).
Частота дискретизации: 48 кГц, n_fft 2048, hop 512.
Лицензия: CC BY-SA 4.0.










Комментарии