drone-v1
крошечный детектор тональности
2 мин чтенияобновлено
drone-v1 — крошечный классификатор музыкальной тональности: получает аудио и выдаёт тонику и лад (мажор или минор) среди 24 классов. Он работает по constant-Q спектрограмме (CQT — представление звука по высоте тона) и содержит всего 109 128 параметров. Автор обучил K10-архитектуру на 1363 EDM-превью с Beatport; на отложенном GiantSteps 604 средний MIREX — 73,58%, exact — 66,8%. Есть PyTorch-чекпоинт и ONNX-экспорт для CPU. Пригодится для DJ-софта, сортировки треков и анализа музыкальных библиотек.
Ключевые особенности
- 109 128 параметров; по карточке — самая маленькая модель, обошедшая native libkeyfinder на GiantSteps 604.
- 24 класса: 12 тоник × major/minor, на выходе 24 logits.
- Вход — CQT: 24 бина на октаву, 208 бинов, hop 4096, log1p; модели подаются 192 core-бина.
- Есть drone-v1.pt (seed 13) и drone-v1.onnx: opset 18, dynamic batch, проверена CPU-совместимость.
- Обучение — на 1363 Beatport EDM previews (933 minor / 430 major), K10-протокол.
Что можно сделать
- Встроить в DJ-утилиту для гармонического сведения: определять тональность трека на лету.
- Сортировать локальную библиотеку по тональности и ладу, находить совместимые треки.
- Запускать анализ на CPU через ONNX — без GPU и тяжёлых зависимостей.
- Сравнить с libkeyfinder на своей EDM-подборке и посмотреть, где tiny-модель выигрывает.
Пример
from drone import Predictor
predictor = Predictor()
print(predictor.predict("track.mp3")) # tonic, mode, probability
Подробнее
GiantSteps 604: mean exact 66,8%, MIREX 73,58%; seed 13 — 74,8% MIREX.Модель обучена на 2-минутных EDM-превью; на длинных и жанрово разнообразных записях точность может быть ниже.
Softmax не калиброван; вход — mono 22 050 Hz, CQT 208 бинов, core-окно 192 бина.
ONNX-экспорт: opset 18, dynamic batch, проверена эквивалентность на CPU.










Комментарии