larry-speech-encoder
12,5-Гц FSQ-энкодер речи для TTS
1 мин чтения
Первая модель thelarryproject (phase 1): speech unit ID encoder на 163 618 694 параметра с CTC proxy-головой для выравнивания речевых признаков. Кодирует английскую речь в дискретные unit ID, которые задуманы для downstream-декодера клонирования голоса. Это не ASR-модель.
Ключевые особенности
- Log mel frontend и conv subsampling: 100 Гц → 25 Гц, затем merge до 12,5 Гц.
- 6 non-causal SAN-M слоёв с FSMN-вниманием; kernel 31 до merge и 15 после.
- FSQ-квантование в 15 360 кодов; на выходе один unit ID каждые 80 мс.
- После FSQ — ещё 6 MHA-слоёв и CTC-голова над SentencePiece-словарём.
- CTC — только proxy-задача; для обычного ASR или CTC-выравнивания модель не поддерживается.
Пример
from larry.voice.model.speech_encoder import SpeechEncoderModel
model = SpeechEncoderModel.from_pretrained('thelarryproject/larry-speech-encoder')
unit_ids, unit_lengths = model.tokenize(waveforms, waveform_lengths)
Подробнее
CTC-прокси WER на валидации — ~5,52% (greedy, whisper-нормализация); это не заявленная точность ASR.FSQ: codebook usage 99,9%, perplexity 5827. Вход — mono 16 kHz, выход — ID в диапазоне 0–15 359.
Обучение: ~40 252,8 часа аудио и ~3,7 млрд токенов; данные только PD/CC0/CC-BY, согласие на AI-обучение не запрашивалось.
Нужен Python 3.14+ и пакет larry; квантование заметно убирает спикерскую информацию: probes на кодах — 14,6%/12,7% против 93,3%/89,1% на сырых признаках.










Комментарии