EmoFake Wav2Vec2 MLP
детектор аудиодипфейков на базе XLS-R-300M
2 мин чтенияобновлено
Бинарный классификатор от проекта DeepFense, который определяет, является ли аудиозапись реальной (bonafide) или синтезированной (spoof). В основе лежит замороженный энкодер fairseq XLS-R-300M (архитектура wav2vec2 на 300 млн параметров) и классификатор MLP (многослойный перцептрон) с проекцией [256, 128]. Модель обучена на официальном датасете EmoFake без аугментаций данных (конкретный чекпоинт — с сидом 42, также доступны варианты с сидами 2 и 240). Пригодится исследователям и разработчикам систем антиспуфинга речи для оценки устойчивости детекторов на кросс-доменных тестах.
Ключевые особенности
- Архитектура сочетает замороженный фронтенд XLS-R-300M и обучаемый бэкенд MLP с нормализацией слоёв.
- Работает с аудио частотой дискретизации 16 кГц, обрезая или зацикливая фрагменты до фиксированной длины в 64 600 сэмплов.
- Чекпоинт
best_model.pthсохранён как словарь DeepFense (содержит веса, состояние оптимизатора и метаданные), а не в форматеfrom_pretrainedдля Transformers. - Поддерживает английский и китайский языки (согласно метаданным и составу датасета EmoFake).
Что можно сделать
- Встроить в исследовательский пайплайн DeepFense для проверки голосовой биометрии и антиспуфинга на сторонних наборах данных (например, InTheWild или ASV19).
- Использовать как базовый бейзлайн (ориентир) при сравнении замороженных SSL-энкодеров с дообученными моделями детекции синтезированной речи.
- Сравнить стабильность метрик между тремя опубликованными сидами (Seed 2, Seed 42 и Seed 240) без объединения в ансамбль.
Пример
hf download DeepFense/EmoFake_Wav2Vec2_MLP_NoAug_Seed42 --local-dir checkpoints/EmoFake_Wav2Vec2_MLP_NoAug_Seed42
python test.py --config /absolute/path/to/checkpoint/config.yaml \
--checkpoint /absolute/path/to/checkpoint/best_model.pthПодробнее
Бенчмарки EER (Equal Error Rate, ниже — лучше): 27.31% на InTheWild (31 779 записей) и 20.26% на ASV19 (71 237 записей) по разнице логитов; на валидации EmoFake — 0.0000%.Для запуска требуется репозиторий DeepFense (коммит 3f2fe11), среда с PyTorch 2.4.1+cu121 и локальный файл оригинальных весов XLS-R-300M для инициализации.
Метки классов: 0 = spoof (подделка), 1 = bonafide (оригинал). Предназначено для исследований в области детекции аудиодипфейков (датасет EmoFake под лицензией CC BY-NC-ND 4.0).










Комментарии