Lilt's music-sign detector

Модель hewig ищет на страницах печатных партитур 115 видов нотных знаков: ноты, штили, рёбра, флаги, паузы, ключи, размеры, альтерации, лиги, динамику и другие. Это FCOS с ResNet-18 feature pyramid на 13,2 млн параметров, работает через ONNX Runtime и может выполняться в браузере: фото обрабатывается на устройстве и не загружается на сервер.

🔥 Ключевые особенности

• ✅ 115 классов: noteheads, stems, beams, flags, rests, clefs, key/time signatures, accidentals, dots, ties/slurs, articulations, dynamics, hairpins, ornaments, fermatas, segno/coda, pedal marks, bowings, tuplets, fingerings, ottava brackets.
• 💻 signs.onnx — «голая» сеть: страница на входе, сырые выходы по уровням p2–p6 на выходе.
• 📱 Браузерный сценарий Lilt: изображение читается локально, без отправки в облако.
• ✨ Веса свёрток хранятся в int8 с одной шкалой на выходной канал; арифметика float32, потери против float16 не измерены.
• 📖 Обучена на DeepScoresV2, лицензия CC BY 4.0.
• ❗ Слабое место — тонкие и мелкие знаки; реальные фото с телефона не тестировались.

🖼 Пример

Сценарий из карточки: пользователь фотографирует страницу нот, модель получает изображение шириной 1024 px и возвращает координаты найденных знаков. В Lilt это позволяет разбирать нотный текст на устройстве — без загрузки фото в облако.

Подробнее

На 20 отложенных страницах DeepScoresV2: recall 0,81 и precision 0,89 при IoU 0,5.
Обучение: 30 эпох на кропах 640 px; страницы масштабированы до 1024 px и «огрублены» под телефонные фото.
Альтерации, ключи, ферматы, орнаменты, динамика, hairpins, tuplets, segno и coda — 95–100 % в тестовых кропах.
Слабее: штили (55 %), добавочные линейки (56 %), augmentation dots (66 %), ottava brackets (1 из 9).
Реальные фото с телефона не тестировались — только чистая гравировка с имитацией.