ishiki-deepfake-0.5
компактный детектор аудиодипфейков
1 мин чтенияобновлено
Модель ishiki-labs/ishiki-deepfake-0.5 создана для поиска поддельных и сгенерированных голосов (аудиодипфейков) в потоке аудио. Она базируется на архитектуре facebook/wav2vec2-xls-r-300m, но уменьшена в размере за счет сжатия параметров до 86.75 млн. Инструмент анализирует 16kHz аудиозаписи и выдает числовую оценку вероятности подделки. Модель пригодится разработчикам и исследователям безопасности для фильтрации голосовых сообщений и защиты систем от спуфинга.
Ключевые особенности
- Основана на базовой модели wav2vec2 с уменьшением параметров на 72.5%
- Работает за один проход (One-Forward-Pass Optimization) без обратного распространения
- Протестирована на множестве датасетов, включая ASVspoof 2019 и 2021
- Весит всего 353.6 МБ в формате .safetensors
Что можно сделать
- Встроить в систему верификации звонков для защиты от голосового мошенничества
- Проверять аудиофайлы в ботах или сервисах на наличие искусственной генерации
- Тестировать устойчивость систем распознавания речи к спуфингу
Пример
import numpy as np
from huggingface_hub import snapshot_download
import sys
repo_dir = snapshot_download("ishiki-labs/ishiki-deepfake-0.5")
sys.path.insert(0, repo_dir)
from inference import create_predictor
predict = create_predictor(repo_dir, device="cuda:0", batch_size=32)
wavs_16khz = np.random.randn(4, 64600).astype(np.float32) * 0.2
scores = predict(wavs_16khz)
print("Spoof scores:", scores)
Подробнее
Параметры: 86.75MASVspoof 2019 LA EER: 0.1630%
ASVspoof 2021 LA EER: 1.5133%
Требования: GPU (cuda:0) для быстрого запуска batch-обработки










Комментарии