SpeechLLM ASR
распознавание речи на базе Villanova-2B
1 мин чтенияобновлено
Это мультимодальная речевая языковая модель (SpeechLLM) для автоматического распознавания английской речи, созданная на базе фреймворка SLAM-LLM. Архитектура объединяет замороженный энкодер FAMA, линейный проектор и модель Villanova-2B с LoRA (небольшая надстройка над базовой моделью). Чекпоинт содержит обученные веса весом 14.16 млн параметров для проектора и адаптеров. Модель обходит по качеству Whisper large-v3-turbo на датасете VoxPopuli и эффективно обрабатывает аудиозаписи длиннее 30 секунд.
Ключевые особенности
- Использует комбинацию энкодера FAMA и языковой модели Villanova-2B.
- Показывает результат WER 6.55% на тестовом наборе VoxPopuli English.
- Способна обрабатывать длинные аудиофрагменты без усечения.
- Обучена с использованием фреймворка SLAM-LLM на видеокартах NVIDIA A100.
Что можно сделать
- Распознавать английскую речь с высокой точностью в аудиопроектах и сервисах.
- Запустить декодирование или дообучение с помощью скриптов из репозитория Villanova-Speech-LLM.
Пример
hf download SpeechTek/speechllm_fama_meusli_villanova_asr_en_v1 model.pt --local-dir checkpoints/speechllm_fama_meusli_villanova_asr_en_v1Подробнее
• Архитектура: FAMA энкодер + Villanova-2B (LLM) с LoRA• Обучение: VoxPopuli English, NVIDIA A100 64 GB
• Метрики: WER 6.55% на VoxPopuli English test
• Лицензия: CC BY 4.0










Комментарии