Dettato evidence repairer
коррекция ошибок транскрибации музыки в MIDI
2 мин чтенияобновлено
Модель представляет собой второй этап многоинструментальной системы распознавания аудио в MIDI (цифровой формат записи нот) Dettato от KobiMusic. Она принимает на вход ноты, распознанные базовым транскрибатором dettato, вместе с его внутренними состояниями (векторами признаков) и исправляет ошибки: удаляет лишние ноты, сдвигает время начала и окончания, а также добавляет пропущенные звуки. В основе лежит компактный трансформер на 4,9 млн параметров, который обрабатывает композицию окнами по 8 секунд, анализируя каждую ноту как отдельный токен. Инструмент пригодится музыкантам, аранжировщикам и разработчикам сервисов для автоматического снятия нотных партий с аудиозаписей.
Ключевые особенности
- Работа с внутренними признаками: помимо высоты, громкости и длительности ноты, модель читает вектор из 769 чисел (вероятности начала/окончания и скрытые состояния базового транскрибатора).
- Точная подстройка таймингов: предсказывает вероятность сохранения ноты, корректирует её начало с шагом 5 мс в пределах ±0,5 с и уточняет длительность.
- Восстановление пропусков: проверяет два слота вставки для каждой ноты, добавляя пропущенные звуки при вероятности от 0,6 и отбрасывая дубликаты в пределах 30 мс.
- Лёгкая архитектура: 9 слоёв с размерностью 192 и 6 головами внимания, использует поворотные позиционные эмбеддинги (rotary positions) по времени начала и высоте тона.
Что можно сделать
- Улучшить точность снятия нот: использовать в связке с основным чекпоинтом
dettatoдля очистки сырой MIDI-транскрибации от ложных срабатываний и уточнения концов нот. - Встроить в полный пайплайн Dettato: запускать через CLI-утилиту
dettatoдля автоматической разбивки аудио на MIDI-дорожки с последующей группировкой инструментов (dettato-grouper) и ударных (dettato-drums).
Пример
from dettato.audio import load
from dettato.evidence import EvidenceRepairer
from dettato.transcriber import Transcriber
t = Transcriber.from_pretrained("cuda")
rep = EvidenceRepairer.from_pretrained("cuda")
notes, original, info = rep(t, load("song.mp3").at(16000))Подробнее
Бенчмарки (9 наборов, включая Slakh2100): общий composite-балл вырос с 56.65 до 56.95 (+0.30; прирост по началу нот +0.38, по окончанию +1.96, но по кадрам -1.14 из-за укорочения длинных нот).Ограничения: работает только с высотными нотами без привязки к инструментам и только в связке с чекпоинтом
dettato; окна плотнее 4096 нот за 8 с пропускаются без изменений.Обучение и лицензия: обучена на внутренних синтетических данных без использования бенчмарков; открытая лицензия Apache-2.0.










Комментарии