ORB planner
компактная нейросеть для генерации звуковых спецификаций по тексту
2 мин чтенияобновлено
Модель представляет собой декодер-only трансформер на 5.10M параметров, который превращает однострочный промпт (например, описание погоды или звуковых эффектов) в структурированный JSON-объект (Spec). Сама модель не создаёт аудиосигнал напрямую: полученный формат компилируется детерминированным DSP-рендерером из репозитория ORB в готовый 48 kHz WAV-файл. Архитектура основана на обучении с нуля на 300 тыс. синтетических пар без использования предварительно обученных весов или внешних аудиоданных. Инструмент полезен разработчикам интерфейсов, игр и звуковым дизайнерам, которым нужна программно управляемая генерация звуковых эффектов.
Ключевые особенности
- Компактный размер — всего около 5.10M параметров при контексте в 1024 токена.
- Строгая грамматика — декодирование ограничивается маской грамматики, поэтому на выходе всегда получается валидный JSON-конфиг без сбоев.
- Широкая палитра звуков — поддерживает 47 ролей звуков (от кликов и свистов до шагов и ударов молнии), 13 текстур (ветер, дождь, шум города и др.) и 10 настроений.
- Интеграция с агентами — репозиторий содержит MCP-сервер для подключения генерации в виде инструментов агентов.
Что можно сделать
- Генерация звуковых эффектов — создавать уникальные UI-поп звуки, свисты и эмбиент-текстуры по текстовому описанию для приложений и игр.
- Интеграция в пайплайны — использовать модель как планировщик звука, управляя параметрами через структурированный JSON-объект.
- Подключение агентов — задействовать MCP-сервер для автоматизации создания звуковых ландшафтов силами ИИ-агентов.
- Процедурный рендеринг — комбинировать генератор со статическими DSP-алгоритмами для получения чистого 48 kHz аудио без артефактов нейросетевого синтеза звука.
Пример
from huggingface_hub import hf_hub_download
from orb.api import load_planner, generate, save_wav
path = hf_hub_download("marcosmaceo/orb-planner", "planner.safetensors")
hf_hub_download("marcosmaceo/orb-planner", "config.json")
tok, planner = load_planner(path)
out = generate(
"6.00-second bright cue, wind bed, with whoosh @1.00 0.90s -6dB L2 #2a",
planner=(tok, planner),
)
save_wav(out["audio"], "whoosh.wav")
print(out["spec"])Подробнее
• Точность на тестовых грамматических промптах: 100% (500/500 и 2000/2000 выборок).• Точность на свободных текстовых промптах: 58.4% (свои данные) и 70.0% (слепой набор).
• Ошибки декодирования: 0.
• Обучение: 40k шагов на одном ускорителе H100 (датасет из 300k синтетических строк).
• Лицензия: Apache-2.0.










Комментарии