PawCT и PagCT
транскрибация хорового пения в MIDI
2 мин чтенияобновлено
Набор из двух PyTorch-чекпоинтов от Hanyu Meng для перевода записей смешанного хора в нотный формат MIDI. PagCT сводит все голоса в одну общую нотную дорожку, а PawCT base разделяет партитуру на четыре независимые партии: сопрано, альт, тенор и бас (SATB). Модели решают задачу AMT (Automatic Music Transcription — автоматической расшифровки музыки в ноты) с привязкой к вокальным голосам. Инструмент пригодится музыкантам, аранжировщикам, хормейстерам и исследователям MIR (Music Information Retrieval).
Ключевые особенности
- Два режима вывода: объединённый трек в
pagct.pthили раздельные дорожки SATB вpawct-base.pth. - Готовые JSON-конфиги (
pagct.jsonиpawct-base.json) с подобранными порогами детекции кадров, начала и окончания нот. - Обучение end-to-end с union supervision и встроенным гейтом присутствия голоса (learned presence gate) для PawCT.
- Проверенная воспроизводимость на официальном тестовом сплите YouChorale (30 записей).
Что можно сделать
- Оцифровать архивную или репетиционную запись смешанного хора в редактируемый MIDI-файл для дальнейшей работы в нотном редакторе или DAW.
- Извлечь отдельные партии сопрано, альта, тенора и баса с помощью PawCT base, чтобы быстро подготовить репетиционные минусовки или партитуры для хористов.
Пример
settings = json.loads(Path(f"{model_id}.json").read_text(encoding="utf-8"))
cfg = OmegaConf.merge(OmegaConf.load(checkout / "src" / "config.yaml"), settings["public_code_overrides"])
audio, _ = librosa.load(audio_path, sr=cfg.feature.sample_rate, mono=True)
transcriber = ChoralAMTTranscriber(cfg, settings["checkpoint_file"])
probabilities = transcriber.transcribe(audio)["output_dict"]
write_satb_midi(tracks, Path(f"{model_id}.mid"))Подробнее
Метрика YouChorale note F1 @ 50 ms (учитывается высота тона и атака в пределах 50 мс): 0.3790 у PagCT и 0.2248 у PawCT base.Для запуска требуется репозиторий Paw Choral AMT (ревизия
b0718f8), librosa и omegaconf.Опубликовано по статье «Toward Part-Aware Choral Transcription with Singing Voice Assignment» (arXiv:2610.09861).










Комментарии