AI Music Visualizer

AI Music Visualizer от rhenretta — компактная рекуррентная CoreML-модель, которая превращает живой звук и текстовые промпты стиля в готовые RGB-кадры 1280×720. В основе — VisualizerStep на 972 895 параметров и TextConditioner с замороженным all-MiniLM-L6-v2. Есть standalone-приложение для macOS на Swift 6 + CoreML + Metal.

📝 Ключевые особенности

• 👍 Всего 972 895 параметров; FP16-веса 1.95 MB, .mlpackage 5.5 MB.
• 🗣 На входе живой звук 48 кГц: 64 log2-бина 35 Гц–10 кГц, onset/beat-признаки и 8-секундная причинная пирамида.
• 📝 Стиль задаётся простыми английскими промптами по осям shape, motion, color через TextConditioner на all-MiniLM-L6-v2.
• 😎 6 визуализационных примитивов: FFT-бары, радиальное кольцо, спиральные волны, осциллограф-ленты, туннель и мандала-спирограф.
• 🤔 Выход — готовые RGB-кадры 1280×720; постобработка на GPU-шейдерах не нужна.

⌨ Пример

import coremltools as ct, numpy as np
m = ct.models.MLModel("VisualizerStep.mlpackage", compute_units=ct.ComputeUnit.CPU_AND_GPU)
z = np.ones((1,128), dtype=np.float32) / np.sqrt(128.0)
out = m.predict({"prev_frames_spaced": np.zeros((1,15,90,160), dtype=np.float32),
                 "prev_hidden": np.zeros((1,16,90,160), dtype=np.float32),
                 "audio_pyramid": np.zeros((1,78,72), dtype=np.float32),
                 "raw_mel": np.zeros((1,64), dtype=np.float32),
                 "z_shape": z, "z_motion": z, "z_color": z})

Подробнее

Скорость: 92.7 FPS (10.79 мс/кадр), parity PyTorch→CoreML MAE = 0.000275.
Размер: 972 895 параметров, FP16-веса 1.95 MB, .mlpackage 5.5 MB.
Запуск: CoreML на macOS; в комплекте TextConditioner, PyTorch-чекпоинт и аудио-контракт.
Ограничение: стиль управляется тремя векторами shape/motion/color, а не произвольным текстом.