Piano transcription in the browser
ONNX-файлы для расшифровки фортепиано прямо в браузере
2 мин чтенияобновлено
Этот репозиторий содержит готовые ONNX-модели (формат для запуска моделей на разных платформах и в браузере) для перевода записей фортепиано в ноты и MIDI непосредственно на устройстве пользователя без отправки данных на сервер. В комплект входят модели Transkun V2 для распознавания нот и разделения потоков, а также Demucs v4 (htdemucs_6s) для выделения партии пианино из полноценной песни. Всё это оптимизировано для работы с onnxruntime-web через WebGPU или WebAssembly. Инструмент пригодится разработчикам веб-приложений, музыкантам и любителям анализа аудио.
Ключевые особенности
- Полная обработка на устройстве пользователя без загрузки аудио на внешние серверы
- Использование Transkun V2 для конвертации аудиофреймов в нотные партитуры и контекст
- Включение модели Demucs v4 (htdemucs_6s) для изоляции фортепианного трека из микса
- Поддержка ускорения через WebGPU и резервного режима WebAssembly
Что можно сделать
- Интегрировать распознавание нот в веб-сервис для музыкантов и транскрипции треков
- Создать браузерное приложение для перевода фортепианных записей в формат MIDI
- Использовать модель Demucs для извлечения пианино из готовых песен перед анализом
Пример
Модели разделены на части для эффективного запуска: например, transkun-forward.onnx принимает аудиофреймы 44.1 кГц со стерофонией и возвращает оценки нот, после чего полумарковский алгоритм Витерби определяет интервалы.
Подробнее
Формат файлов: ONNXОсновные компоненты: Transkun V2 (транскрипция) и Demucs v4 (разделение аудио)
Базовые датасеты: MAESTRO (для Transkun)
Лицензии оригинальных авторов: MIT и CC BY-NC-SA 4.0










Комментарии