VibeVoice-CSK1
ASR для чешского и словацкого с диаризацией и таймкодами
1 min read
Это полный BF16-checkpoint на базе microsoft/VibeVoice-ASR: в него влит QLoRA-адаптер, обученный на 450 часах чешской и словацкой речи. Модель на 8,67 млрд параметров распознаёт речь и выдаёт текст, метки спикеров и таймкоды. В комплекте оба speech encoder, tokenizer и processor.
Ключевые особенности
- Специализация на чешском и словацком; задача — automatic-speech-recognition.
- QLoRA-адаптер уже merged в VibeVoice-ASR, веса не квантованы — BF16.
- На выходе не только текст, но и speaker labels с временными метками.
- Готовый inference.py: можно передать локальную папку или repo ID, есть офлайн-режим через
--local-files-only. - Greedy decoding;
--max-new-tokensпо умолчанию 4096, при неполной генерации сохраняется частичный вывод.
Пример
pip install huggingface-hub==0.36.2
hf download lofcz/VibeVoice-CSK1 --local-dir VibeVoice-CSK1
cd VibeVoice-CSK1
pip install -r requirements.txt
python inference.py recording.wav --device cuda:0 --output transcription.json
Подробнее
Адаптер: rank 64, alpha 32, checkpoint step 2564; экспорт — unquantized BF16.Тестировали на 24 GB RTX A5000; нужны Python 3.11+, CUDA GPU и больше памяти для длинных записей.
Для форматов вне SoundFile нужен FFmpeg; длинные аудио лучше резать на клипы.
В
merge_manifest.json записаны base revision, хэши адаптера, версии зависимостей и проверки тензоров.









Comments