omr-monophonic
распознавание одноголосных нот по картинке
2 min readupdated
LoRA-адаптер (небольшая надстройка над базовой моделью) для задачи OMR (optical music recognition — оптического распознавания нот). На вход подаётся изображение одноголосной партитуры, а на выходе модель выдаёт строку семантических токенов в формате PrIMuS через пробел. Адаптер создан пользователем nzhao721 поверх компактной мультимодальной модели Qwen/Qwen2-VL-2B-Instruct и подключается через библиотеку PEFT. В отличие от базовой VLM общего назначения, эта версия заточена строго под транскрипцию нотного текста — пригодится разработчикам музыкальных тренажёров, сервисов для сольфеджио и инструментов символьной обработки музыки.
Ключевые особенности
- Понимает разные типы снимков: чистые цифровые ноты, рукописные записи и фото с искажениями камеры.
- Работает поверх лёгкой 2B-модели
Qwen2-VL-2B-Instructв точности BF16 с рангом LoRA 32. - Показывает высокую посимвольную точность: в среднем 97.91% (и 100% на чистых цифровых примерах).
- Выдаёт результат напрямую в семантической нотации PrIMuS без лишнего текста и разметки.
Что можно сделать
- Сделать помощника для музыкальных диктантов и проверки упражнений по теории музыки и развитию слуха.
- Встроить распознавание фотографий нотных тетрадей и распечаток в пайплайн символьной обработки музыки.
- Автоматизировать оцифровку одноголосных мелодий для последующего анализа или перевода в другие форматы.
Пример
from PIL import Image
from peft import PeftModel
from transformers import AutoProcessor, Qwen2VLForConditionalGeneration
base = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "nzhao721/omr-monophonic").eval()
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
image = Image.open("score.png").convert("RGB")
Подробнее
Метрики (100 тестовых изображений): средняя точность токенов 97.91%, точное совпадение (Exact match) — 70.0% (на рукописных фотоmanual_handwritten — 93.16% и 15%).Обучение: ~139 тыс. пар «изображение — токены PrIMuS» (50% рукописные, 25% цифровые, 25% с искажениями камеры) на NVIDIA A100 (40/80 ГБ), 2.07 эпохи.
Ограничения: только одноголосные мелодии (полифония и оркестровые партитуры не поддерживаются), формат вывода — только PrIMuS (не MusicXML, MEI или LilyPond).
Лицензия адаптера: Apache 2.0 (для базовой модели действуют её собственные условия).










Comments