GRT-30M-Omni Polar Vocoder Head

Сообщество выложило отдельный компонент speech_head.* из MatterWaveAI/grt-30m-omni (ревизия c69d1331). Класс GRTPolarVocoderHead превращает скрытые состояния языковой модели в кадры полярной спектрограммы и waveform на 16 кГц. Это не самостоятельная TTS-модель: языковая модель и модальные энкодеры в релиз не вошли, веса головы — около 30M параметров.

🔤 Ключевые особенности

• ➕ На вход подаются float-скрытые состояния формы [batch, sequence, 256], на выходе — полярная спектрограмма и волна 16 кГц.
• ➖ Имена тензоров, формы, dtypes и значения сохранены как в оригинале, ничего не пересчитано.
• 🔤 В комплекте — реализация из форка Transformers автора, закреплённая на коммите 829cdd09.
• 🟰 Код и чекпойнт под Apache-2.0, совместимые внутренности Transformers обязательны.
• 🔜 Без языковой модели и энкодеров работает только как исследовательский компонент, а не как готовый синтезатор речи.

🟰 Пример

model = component.load_model(directory)

# hidden_states: float-тензор [batch, sequence, 256]
out = model(hidden_states)
# -> полярная спектрограмма + waveform 16 kHz

Подробнее

Smoke-тест на CPU: синтетические состояния [1, 8, 256] дали [1, 32, 256] кадров спектрограммы и [1, 4960] конечных сэмплов waveform.
Тест не проверяет разборчивость, качество речи и полный синтез с языковым условием — детали в validation.json.
Проверялось на Transformers 5.21.1, PyTorch и safetensors.
Для работы нужны скрытые состояния апстрим-модели: сам по себе репозиторий речь не генерирует.