АудиоWJM-George
AMBIT
генерация и редактирование пространственного аудио по тексту
1 мин чтения
AMBIT от WJM-George — единая модель для text-guided генерации и редактирования First-Order Ambisonics (FOA). Размер — 0.4B параметров; AR- и DiT-компоненты используют общий Transformer backbone.
✨ Ключевые особенности
- 🎤 Одна модель поддерживает и генерацию FOA, и редактирование по тексту.
- 🚙 Для редактирования принимает референсную FOA-аудио и меняет сцену по промпту.
- 🧘 AR и DiT делят один Transformer backbone.
- 💥 Сохраняет FOA-аудио и сгенерированный ScenePlan.
- ✅ Все необходимые веса и конфиги включены; лицензия MIT.
🚙 Пример
python -m ambit.infer generate --bundle models/AMBIT \
--prompt "A dog barks to the left while a car passes from front to right." \
--output outputs/generated.wav --seed 42Подробнее
Требования: Python 3.10+, Linux и CUDA GPU с поддержкой bfloat16.Для редактирования нужен референс FOA 44.1 кГц, 4 канала, ACN/SN3D в порядке W, Y, Z, X.
Бенчмарки в карточке не приведены; проект построен на stable-audio-tools.
Примеры промптов — на английском.
Комментарии