StaleyNET

StaleyNET — это набор чекпоинтов text-prompted генератора музыки, обученного с нуля на Rust на NVIDIA edge-GPU. В проекте реализованы Transformer, residual vector quantizer, Griffin-Lim вокодер и GPU-ядра; опубликовано 9 запусков, включая lyrics-conditioned и pq-large.

🔥 Ключевые особенности

• 🦾 9 чекпоинтов: от базовой text-to-music модели до vocal, lyrics и pq-large; 7,099,904–7,165,440 параметров у малых runs и 42,858,496 у pq-large.
• 🔥 Архитектура: width 256, 8 heads, 6 layers, context 768; 4 residual codebooks по 1024 записи, 128 mel bands at 24 kHz. pq-large — width 512, 8 layers, context 1152 и 16 codebooks.
• 🎤 Lyrics-модели добавляют 256-byte lyrics field; есть отдельные запуски lyrics-orin, lyrics-thor и lyrics-thor-long.
• 🐆 Обучение на Song Describer Dataset и JamendoLyrics MultiLang; лицензия чекпоинтов CC BY-SA 4.0 с оговорками upstream-датасетов.
• ✅ Код, paper, book и crate staleynet-audio 0.1.2 доступны в companion-репозитории; релиз v0.1.2 обновляет GPU-ядра и добавляет новые runs.
• 👁 Это research artifacts, а не продакшн-система: Griffin-Lim даёт phasey-звук, а разборчивость лирики ограничена.

⬇ Пример

hf download arpanpathak/staleynet-checkpoints --repo-type model --local-dir staleynet-checkpoints
staleynet sing --cache data/cache --run staleynet-checkpoints/checkpoints/thor-base/best --prompt "slow acoustic ballad, warm female voice" --out song.wav

Подробнее

Валидационный loss pq-large — 5.135 nats per token на шаге 7,000 из 20,000; он усреднён по 16 codebooks другого токенизатора и напрямую не сравним с 4-codebook runs.
pq-large всё ещё обучается на Jetson AGX Thor (128 GB), файлы — снапшот и будут заменяться.
Ограничения: phasey-аудио от Griffin-Lim, малые edge-модели, ограниченная разборчивость лирики, отсутствие гарантий.