Transcoda V2.1
распознавание нотных листов в формат Humdrum
2 min readupdated
Модель решает задачу OMR (оптического распознавания нотной записи): она берёт изображение печатной западной нотации и переводит его в компактный текстовый формат Humdrum. В основе лежит архитектура из энкодера ConvNeXt V2 Tiny и декодера Transformer общим объёмом 108 млн параметров от автора btrkeks. Главная особенность — модель обучена исключительно на синтетических данных, но в режиме декодирования с грамматическими ограничениями выдаёт 100% валидный по рендеру результат даже на реальных сканах. Пригодится исследователям музыки, архивистам и разработчикам софта для создания черновиков транскрипций.
Ключевые особенности
- Компактность: всего 108M параметров на базе энкодера
convnextv2-tiny-22k-224и Transformer-декодера. - Обучение на синтетике: тренировка прошла на 343 470 синтетических страницах из датасетов PDMX, GrandStaff и KernScores без использования реальных сканов.
- Грамматические ограничения при генерации: режим Constrained greedy следит за структурой тактов и голосов, обеспечивая 100% рендерируемость результата на реальных нотах с IMSLP.
Что можно сделать
- Автоматически переводить PDF-файлы и сканы классических фортепианных партитур в машиночитаемый текстовый формат для дальнейшего анализа.
- Использовать чекпоинт вместе с грамматикой из репозитория как базовый движок для создания инструментов оцифровки нот и черновых транскрипций.
Пример
Готового фрагмента кода в карточке нет, но процесс работы выглядит так: на вход подаётся изображение страницы (модель приводит его к ширине 1050 и высоте 1485 пикселей), а скрипт scripts/infer.py из официального репозитория генерирует текстовую разметку в стандарте Humdrum с невидимыми паузами для выравнивания коротких голосов.
Подробнее
Метрики на реальных сканах (IMSLP-Real OMR-NED): 22.59% в режиме Constrained greedy против 28.50% в обычном Beam search (чем ниже, тем лучше).На синтетическом тесте ошибка OMR-NED составляет 1.25% (Constrained greedy) и 1.56% (Beam).
Ограничения: модель не тестировалась на рукописных и незападных нотах; в обучающей выборке преобладают произведения Шопена.
Модель пропускает лиги, штрихи, динамику, текст песен, вольты и указания D.C./Fine — результат требует ручной проверки.
Лицензия на веса: CC BY-NC 4.0 (только для некоммерческого использования).










Comments