GeLDA checkpoints
чекпоинты для распознавания эмоций в речи
1 мин чтения
Коллекция чекпоинтов GeLDA реализует семантически осознанную генеративную аугментацию латентных данных (скрытых числовых представлений) для задачи Zero-shot Speech Emotion Recognition (распознавание эмоций в речи без предварительного обучения на целевом языке). Модель создана исследователями Jaesung Bae и Minje Kim и помогает улучшить определение эмоциональной окраски голоса с использованием мощных аудиомоделей вроде Whisper и WavLM. Решение опирается на латентные диффузионные модели и специализированные адаптеры задач (task adapters). Набор полезен исследователям речевых технологий и разработчикам систем анализа голоса.
Ключевые особенности
- Поддержка популярных базовых аудиомоделей, включая whisper-large-v3, wavlm-large и emotion2vec-base.
- Решения для zero-shot и few-shot сценариев распознавания эмоций на множестве языков, включая русский.
- Применение латентной диффузии в различных пространствах Z(0), Z(1) и Z(2) для генерации признаков.
- Готовые полные адаптеры задач (Stage-3 task adapters), обученные с помощью GeLDA.
Что можно сделать
- Запустить инференс латентной диффузионной модели для генерации синтетических эмоциональных признаков.
- Интегрировать чекпоинты адаптеров в пайплайны анализа эмоций в аудиосообщениях.
- Проводить исследования и эксперименты по zero-shot распознаванию речи на русскоязычных датасетах.
Пример
from gelda.diffusion import load_inference_checkpoint
denoiser, config = load_inference_checkpoint("zero_shot/whisper-large-v3/french/fold1/diffusion_z0.safetensors")Подробнее
Поддерживаются zero-shot настройки для разных языковых групп, включая русский язык с whisper-large-v3.Фолды построены по аналогии с фреймворком EmoBox.
Чекпоинты соответствуют нулевому повторению (repetition 0) из исследовательской работы авторов.










Комментарии