Cadence
генератор уровней для Beat Saber прямо в браузере
2 мин чтенияобновлено
Cadence слушает загруженный музыкальный трек и автоматически создаёт для него играбельные карты (уровни) для VR-игры Beat Saber сразу на четырёх уровнях сложности: Normal, Hard, Expert и Expert+. Вся генерация работает полностью на стороне клиента в браузере без отправки данных на сервер — движок написан на Rust, скомпилирован в WebAssembly, а вычисления идут через WebGPU. Внутри связка из двух нейросетей: модель определения темпа на базе проекта Beat This! и encoder-decoder трансформер на 221 миллион параметров, который превращает спектрограмму трека в последовательность игровых блоков. Подойдёт игрокам Beat Saber, мапперам для создания черновиков уровней и разработчикам, изучающим инференс (запуск моделей) на WebGPU.
Ключевые особенности
- Работа в браузере без бэкенда: веса подготовлены специально под собственный браузерный движок на Rust + WebAssembly и WebGPU, а не под PyTorch.
- Четыре уровня сложности: планировщик внутри модели определяет тайминги нот отдельно для режимов Normal, Hard, Expert и Expert+.
- Гарантия играбельности: декодер генерирует карту по одному токену за шаг (словарь из 6 614 токенов) под контролем специальной грамматики, которая не даёт создать невалидный уровень.
- Двухэтапный пайплайн: за ритм и темп отвечает адаптированный чекпоинт final0 от Beat This!, а за расстановку кубов — основная модель генерации карт.
Что можно сделать
- Создавать кастомные уровни под любимые треки: загрузить любую песню в веб-приложение Cadence и получить готовую карту для Beat Saber за пару минут без ручной разметки.
- Изучить инференс трансформеров в браузере: использовать открытый исходный код проекта на Rust/Wasm и разбитые на чанки веса как пример запуска крупных моделей через WebGPU.
Пример
Веса предназначены не для Python-скриптов, а для автоматической загрузки веб-движком Cadence. После передачи аудиофайла модель преобразует его в 80-полосную log-mel спектрограмму, определяет биты через Beat This! и пошагово выдаёт токены карты под выбранную сложность (от Normal до Expert+).
Подробнее
Архитектура: encoder-decoder трансформер (~221M параметров: 12 слоёв энкодера, 12 слоёв декодера, размерность 768, 12 голов внимания) + модель темпа Beat This! (MIT).Размер весов: ~886 МБ (основная модель в float32) и ~81 МБ (модель темпа в float32), нарезаны на части по 16 МБ.
Ограничения: файлы несовместимы с PyTorch; версия в float16 исключена из релиза, так как выдавала отличающиеся карты; лицензия на веса основной модели пока не выбрана.










Комментарии