Echora Kiki
расшифровка текстов песен с таймкодами
2 min readupdated
Мультиязычная audio-to-text модель от hcxlabs, которая распознаёт вокал в музыкальных треках и выдаёт текст песни вместе с приблизительными таймкодами строк. В основе лежит архитектура OpenMOSS-Team/MOSS-Transcribe-Diarize объёмом около 0.91B параметров, а сама версия представляет собой дообучение (fine-tune) предыдущей модели echora-moss-0.9b-multilingual-lyrics-transcriber на расширенном корпусе данных. В отличие от первой версии, модель училась на произвольных 60-секундных отрезках полных миксов, умеет отделять бэк-вокал в скобках и корректно оставлять пустой вывод на инструментальных фрагментах. Подойдёт разработчикам музыкальных плееров, караоке-сервисов и инструментов для каталогизации аудиоархивов.
Ключевые особенности
- Распознаёт слова и расставляет таймкоды начала и конца каждой строки в секундах без предварительной подачи текста песни.
- Выделяет партии бэк-вокала в круглые скобки прямо внутри основной строки текста.
- Обучена на фрагментах без вокала, чтобы не придумывать лишний текст на чистых инструментальных проигрышах.
- Поддерживает мультиязычную расшифровку и работу с языковыми промптами без автоматического перевода текста.
- На валидационной выборке показатель loss снизился с 0.578 до 0.498 по сравнению с прошлой версией модели.
Что можно сделать
- Автоматически генерировать синхронизированные субтитры (LRC-файлы) для личной музыкальной библиотеки.
- Встроить в веб-плеер или Telegram-бота для быстрого получения текста и таймингов загруженного трека.
- Использовать в связке с моделями разделения дорожек (vocal separation) и нарезкой на перекрывающиеся 60-секундные окна для обработки длинных композиций.
Пример
Модель принимает аудиофрагмент (опционально с промптом вида Transcribe the audio in . Do not translate it.) и возвращает размеченные по времени строки в формате:[12.00][S01]Example lyric line[15.20]
Подробнее
База: OpenMOSS-Team/MOSS-Transcribe-Diarize (через hcX02/echora-moss-0.9b-multilingual-lyrics-transcriber), 0.91B параметров, чекпоинт шага 16 000.Метрика: validation loss улучшился с 0.578 до 0.498 при обучении на полных миксах и 60-секундных окнах.
Ограничения: таймкоды приблизительные, метки дикторов (например, S01) не гарантируют точную идентификацию певца; возможны ошибки на повторяющихся фразах, эффектах и инструментальных участках.










Comments