Kezek v1
две дорожки из одной записи разговора
2 min readupdated
Kezek v1 берёт монозапись разговора ровно двух людей и раскладывает её на две дорожки — по одной на каждого собеседника. Длина и тайминг сохраняются: перебивания и короткие «yeah»/«mm-hm» остаются у того, кто их произнёс, а сумма дорожек точно равна входу. Модель пригодится для подготовки данных под full-duplex диалоги, когда исходник есть только в виде моно-микса. Внутри 41 млн параметров: fingerprint, PairNet и Conv-TasNet-подобный сепаратор, обученные с нуля без замороженной сторонней модели. Веса Apache-2.0, ��од MIT.
Ключевые особенности
- Сначала решает «кто говорит когда» и «кто есть кто» на всей записи, затем сепаратор следует этому решению.
- Сохраняет перекрытия и короткие ответы; две дорожки в сумме дают исходный сигнал.
- Ровно два говорящих, офлайн; без enrollment и без восстановления/очистки речи.
- Все 41 млн параметров обучены авторами, без замороженной третьей стороны.
- По метрикам обходит pyannote → DialogueSidon на Open Yap и CallHome English.
Что можно сделать
- Подготовить full-duplex диалоговый датасет из моно-записей разговоров.
- Разделить дорожки перед транскрибацией интервью или звонка.
- Встроить в пайплайн обработки аудио, где нужны отдельные треки с общим таймингом.
Пример
pip install kezek
kezek-separate conversation.wav --out separated/
Подробнее
На Open Yap short replies kept 0.830 против 0.687 у pyannote → DialogueSidon; no-swap 0.934 против 0.793; coverage 1.000.На CallHome English no-swap 0.859, leak −11.8 dB; на чистом Open Yap overlap SI-SDRi +10.61 dB.
Нужна CUDA GPU с bf16; ровно два говорящих, офлайн; речь не восстанавливает и не чистит. Обучение и оценка — на английском.










Comments