LES-eg2-665M-asr-en
распознавание речи поверх замороженной EmbeddingGemma 2
2 мин чтенияобновлено
Модель превращает английскую речь в текст, используя замороженную (с неизменными весами) мультимодальную модель google/embeddinggemma-2 и обученный поверх неё лёгкий модуль-ридер на 88M параметров. В отличие от классических ASR-систем, здесь аудиовекторы напрямую сопоставляются с текстовыми эмбеддингами (векторными представлениями) из таблицы на 407 736 слов в общем пространстве. Благодаря этому можно без переобучения добавлять новые термины, полностью менять словарь под узкие команды и за один проход получать и расшифровку, и эмбеддинги аудио для поиска. Решение подойдёт разработчикам голосовых интерфейсов, систем поиска по записям и коммерческих продуктов на базе Hugging Face transformers.
Ключевые особенности
- Управление словарём без дообучения: методы
add_words()иset_vocabulary()позволяют расширять лексикон или ограничить вывод строго заданным списком слов и команд. - Общее пространство эмбеддингов: при транскрибации (
return_embedding=True) или отдельно черезembed_audio()модель возвращает оригинальные 768-мерные векторы EmbeddingGemma 2 (с поддержкой Matryoshka-размерностей 512, 256 и 128). - Три режима декодирования: быстрый
greedy, поиск по лучу с 4-граммной языковой моделью (beam) и переранжирование 32 лучших гипотез (rerank, +6.44M параметров). - Детальная выдача для своих пайплайнов: поддерживает пословные таймкоды с оценкой уверенности, список из 32 лучших вариантов и покадровых кандидатов слов.
- Коммерческая чистота: обучена только на данных с разрешительными лицензиями (без GigaSpeech, SPGISpeech, TED-LIUM и Fisher) и распространяется под Apache License 2.0.
Что можно сделать
- Голосовое управление по строгому словарю: задать через
set_vocabulary(["turn", "left", "right", "stop"])фиксированный набор команд, чтобы распознаватель выбирал слова только из него. - Текстовый поиск по аудиоархиву: извлечь эмбеддинги записей через
embed_audio()и искать нужные фрагменты текстовыми запросами черезembed_text()по косинусному сходству. - Транскрибация с редкой лексикой: добавить имена собственные, бренды и отраслевые термины через
add_words()и сохранить кастомную таблицу слов локально черезsave_pretrained().
Пример
import soundfile as sf
from transformers import AutoModel
model = AutoModel.from_pretrained("Mer0vin8ian/LES-eg2-665M-asr-en", trust_remote_code=True).to("cuda").eval()
audio, sr = sf.read("speech.flac", dtype="float32")
res = model.transcribe(audio, sampling_rate=sr, decoder="rerank", return_timestamps=True)
print(res["text"])
Подробнее
Качество: WER 1.74% (greedy), 1.61% (beam + n-gram LM) и 1.58% (rerank) на LibriSpeech test-clean; средний WER по 8 англоязычным тестам — 6.60% в режиме rerank (против 6.70% у whisper-large-v3).Архитектура: замороженная аудио-языковая конфигурация EmbeddingGemma 2 (576.6M, без vision-энкодера) + обученный ридер (88M); итого 664.6M параметров при инференсе (671.1M с reranker).
Аудио и длинные записи: любая частота дискретизации приводится к 16 кГц; записи длиннее 40 с обрабатываются окнами по 28 с с перекрытием от 4 с.
Ограничения: поддерживает только английский язык; при установке кастомного словаря речь вне списка сопоставляется с ближайшими словами из таблицы или пропускается.










Комментарии