Explore This! final0 (ONNX)
трекер битов и сильных долей в формате ONNX
2 min readupdated
Модель анализирует аудиозапись и определяет позиции долей такта (beat) и сильных долей (downbeat) на основе выученной ритмической сетки (tatum grid). Это ONNX-версия (fp32) чекпоинта final0 из проекта Explore This! от исследователей ISMIR 2026, который является ответвлением Beat This! от Института вычислительного восприятия (JKU Linz). В отличие от оригинальной PyTorch-реализации, модель упакована в единый ONNX-граф вместе с пороговым декодированием сетки, выдавая идентичные маски на тестовых данных. Пригодится разработчикам музыкального софта, DJ-инструментов и сервисов анализа аудио.
Ключевые особенности
- Формат ONNX (fp32): экспортирована с opset 18 и готова к запуску без зависимости от PyTorch.
- Фиксированный вход: принимает log-mel спектрограмму размером 1 × 1500 × 128 (частота дискретизации 22.05 kHz, шаг 441, 50 кадров в секунду), что соответствует 30-секундному фрагменту аудио.
- Встроенное декодирование: пороговое декодирование сетки и подсетки выполняется прямо внутри графа модели.
- Лицензия MIT: модель свободна для коммерческого и исследовательского использования.
Что можно сделать
- Автоматическая разметка треков: находить биты и начала тактов (сильные доли) в 30-секундных чанках для диджейских программ и аудиоредакторов.
- Кроссплатформенная интеграция: встроить трекинг ритма в десктопные, мобильные или веб-приложения через ONNX Runtime без тяжелого окружения PyTorch.
- Синхронизация визуалов и света: использовать бинарные маски и кривые активации для привязки анимации или световых эффектов к ритму музыки.
Пример
На вход подаётся тензор spect (log-mel спектрограмма формата 1 × 1500 × 128 для 30 секунд аудио). На выходе модель возвращает четыре тензора размером 1 × 1500 каждый: бинарные маски (0 или 1 на кадр) beat_mask и downbeat_mask, а также значения активации beat_activation и downbeat_activation.
Подробнее
Базовый проект: Explore This! (форк Beat This!, JKU Linz, ISMIR 2026)Файл: explore_this_final0.onnx (точность fp32, ONNX opset 18)
Совместимость: маски на тестовых входах совпадают с оригинальным PyTorch-чекпоинтом (коммит 408db038)










Comments