ROSETok

ROSETok — речевой токенизатор от wxzyd123, представленный как работа NeurIPS 2026. Он сочетает шумное обучение и семантическую дистилляцию, чтобы сохранять реконструкцию речи и семантические представления при шуме. В основе — DAC-энкодер и декодер с residual vector quantization; вход — mono 16 kHz, обучение на английском и китайском.

🔥 Ключевые особенности

• 🎙 ROSETok-Base обучен на ~96.7k часов английской и китайской речи из Emilia с Gaussian-noise augmentation и семантической дистилляцией.
• 🔥 ROSETok-AAF — attack-aware fine-tuning на 2 000 фразах LibriSpeech, perturbed with T-SemAttack.
• 📚 Semantic teacher — Whisper large-v3; модель сохраняет и реконструкцию, и семантические представления.
• 💻 9 residual codebooks по 1024 entries, codebook dimension 8; hop size 320 samples, или 50 frames per second; feature dimension 1280.
• 🎧 На выходе — reconstructed audio, discrete codes, encoded features, quantized features и другие поля.

💻 Пример

git clone https://github.com/wxzyd123/T-SemAttack.git
cd T-SemAttack
conda create -n rosetok python=3.10 -y
conda activate rosetok
python -m pip install -r requirements.txt
hf download wxzyd123/ROSETok rosetok_base.pth rosetok_aaf.pth --local-dir checkpoints/rosetok

Подробнее

Чекпоинты ~2.86 GB: внутри также semantic teacher, для инференса используются только encoder.*, quantizer.*, decoder.*.
Обучение: ~96.7k часов английской и китайской речи из Emilia; AAF — 2 000 фраз LibriSpeech с T-SemAttack.
Ограничение: устойчивость проверена только на шумах, атаках, датасетах и моделях из статьи; другие языки и условия требуют отдельной оценки.
Лицензия MIT.