NebulaMapper

NebulaMapper от PhantomVoidTTV — набор моделей для автоматической генерации Beat Saber-карт, хореографии освещения и автономного VR-игрока. В репозитории несколько компонентов: Transformer-генератор карт, ритм-модель, диффузионная модель света и flow-matching бот для траекторий.

🎤 Ключевые особенности

• 🎤 Map Model — 65M+ параметров, Encoder-Decoder Transformer с audio overview и musical memory alignment.
• 💥 Rhythm Model — 47M+ параметров, RoPE Transformer предсказывает точные onset hit ticks по битам.
• 🌙 Lighting Model — 7M+ параметров, итеративная Masked Diffusion / Transformer для 23 окружений Beat Saber.
• 🦾 Player Bot Model — 38M+ параметров, Flow-Matching генератор 6-DoF траекторий VR-шлема и двух сабель.
• ✅ Swing Labeler и Timing BeatNet — bidirectional Transformer для forehand/backhand parity и reset detection; log-mel beat activation + octave random forest.
• 🤝 Star Estimator и Song Stars — gradient boosted forest для оценок Star ★, Tech и Pass, а также audio-to-difficulty рейтинга.

🔥 Пример

python scripts/generate.py --audio song.mp3 --stars 7.5 10.0 --mapper phantomvoid --replay
python scripts/webui.py
python scripts/generate_models.py --mode nebula_evolved --push

Подробнее

Generation Mode: nebula_evolved; кастомные персонажи: phantomvoid, nebulamapper, nebula_tech, nebula_speed, nebula_acc.
Checkpoint blend ratio: 0.08; последнее обновление: 2026-11-04 01:01:32 UTC.
Модели заточены под Beat Saber; для запуска нужны скрипты репозитория и аудио.
Данных о VRAM и бенчмарках в карточке нет.