scoredit-scan
распознавание нот с фото прямо в браузере
2 min readupdated
Набор компактных моделей для оптического распознавания нот (OMR) со сканов и фотографий на стороне клиента, без отправки файлов на сервер. В основе лежат готовые чекпоинты проекта oemer (обученные на датасете DeepScoresV2), которые автор конвертировал для запуска в браузере через onnxruntime-web и дополнил экспортом классификаторов в JSON. В отличие от оригинального oemer, здесь убрана нейросеть поиска нотоносцев с некоммерческой лицензией — её заменили классической обработкой изображений внутри библиотеки scoredit, благодаря чему релиз подходит для свободного использования. Инструмент пригодится разработчикам музыкальных веб-приложений, нотных редакторов и сервисов оцифровки партитур.
Ключевые особенности
- Локальная работа в браузере: модели загружаются на устройство пользователя при первом обращении и выполняются через
onnxruntime-web. - Два варианта весов: полная сеть сегментации символов
oemer-symbols.onnx(38.4 МБ) и квантованная в int8 версия (10.3 МБ) для смартфонов и обычного WebAssembly. - Распознавание элементов нотации: сеть выделяет штили, паузы, головки нот, ключи и знаки при ключе, а 4 SVM-классификатора в JSON (5.9 МБ) уточняют ключи, паузы и знаки альтерации (диез, бемоль, бекар).
- Открытые лицензии: код oemer распространяется под MIT, датасет обучения DeepScoresV2 — под CC BY 4.0, а некоммерческий компонент удалён.
Что можно сделать
- Встроить сканирование бумажных нот и фото партитур в веб-редактор на базе библиотеки scoredit или Omnitext.
- Использовать облегчённую int8-модель в мобильных браузерах для быстрого получения черновика цифровой партитуры перед ручной правкой.
Пример
import { readScanScore } from "scoredit";
const base = "[https://huggingface.co/hikashop-nicolas/scoredit-scan/resolve/main/](https://huggingface.co/hikashop-nicolas/scoredit-scan/resolve/main/)";
const doc = await readScanScore(imageBlob, {
models: { symbols: base + "oemer-symbols.onnx", classifiers: base + "oemer-classifiers.json" },
});
Подробнее
Точность на тестовом наборе из 14 страниц: около 80% по высоте тона и 72% по сочетанию высоты и длительности.Скорость: около 70 секунд на страницу с использованием WebGPU на ноутбуке 2019 года.
Ограничения: модель выдаёт черновик партитуры, требующий ручной проверки; переобучение весов не проводилось, только конвертация.










Comments