Beat This! ONNX

ONNX-конверсия Beat This! от Francesco Foscarin, Jan Schlüter и Gerhard Widmer (CPJKU, JKU Linz) — модели трекинга бита без DBN-постобработки. Это не новая архитектура, а формат-конверсия опубликованных чекпоинтов final0 и small0. В комплекте три файла: final0 (~83 МБ), small0 (~10,5 МБ) и front-end logmel.onnx (~4,5 МБ).

🐾 Ключевые особенности

• 🐾 ONNX-версия чекпоинтов final0 и small0; оригинальный код и веса — CPJKU, MIT.
• 👀 logmel.onnx принимает mono-аудио 22050 Hz и выдаёт 128-полосные log-mel кадры с частотой 50 fps; обученных весов нет.
• 💪 Beat-модели принимают до 1500 кадров за вызов и возвращают logits бита и downbeat по кадрам.
• 🔥 Вывод ONNX Runtime совпадает с PyTorch в пределах 1e-3; замеренная максимальная абсолютная разница — около 2e-5.
• 🥳 Есть компактный small0 на ~10,5 МБ и полный final0 на ~83 МБ.

👉 Пример

Пайплайн: подать mono-аудио 22050 Hz в logmel.onnx, получить 128-полосные log-mel кадры с частотой 50 fps, затем отдать до 1500 кадров в beat_this_final0.onnx или beat_this_small0.onnx и получить logits бита и downbeat по кадрам.

Подробнее

Размеры: beat_this_final0.onnx — 83 162 700 байт; beat_this_small0.onnx — 10 555 642 байта; logmel.onnx — 4 468 830 байт.
Требования к VRAM в карточке не указаны; это ONNX-файлы для ONNX Runtime.
Ограничение: часть обучающих данных — музыка под копирайтом или файлы с ограниченными CC-условиями; веса распространяются CPJKU как research artifacts.
Лицензия оригинала — MIT.