AltSwap v1
быстрая замена лиц в браузере на WebGPU
2 мин чтенияобновлено
Лёгкая модель от hustlabubba для замены лиц в реальном времени, созданная для веб-превью AltFace. Она принимает выровненный фрагмент целевого лица (128×128) и вектор внешности исходного человека, а на выходе отдаёт обновлённый кадр. В отличие от классического InSwapper, модель написана с нуля без использования весов или данных InsightFace и обучена исключительно на синтетических лицах. Подойдёт разработчикам веб-приложений и локальных инструментов, которым нужен быстрый face-swap прямо в браузере через onnxruntime-web.
Ключевые особенности
- Работа в браузере: запускается на WebGPU с помощью
onnxruntime-webи выдаёт около 25 FPS на видеокарте RTX 3090. - Совместимость с InSwapper: использует те же имена входных и выходных тензоров (
target,source,output), что упрощает интеграцию в готовые пайплайны. - Компактный размер: версия
altswap_v1_fp16.onnxвесит всего 84 МБ (веса в fp16 при входах и выходах в fp32). - Обучение на синтетике: при тренировке использовались только сгенерированные лица без фотографий реальных людей.
Что можно сделать
- Встроить предпросмотр замены лиц в реальном времени прямо в клиентское веб-приложение без отправки видео на сервер.
- Использовать модель как альтернативу InSwapper в существующих ONNX-пайплайнах в связке с эмбеддингами AuraFace-v1.
Пример
Модель распространяется в формате ONNX и работает через интерфейс, совместимый с InSwapper. Для запуска нужно передать три тензора: target (RGB-кроп [1, 3, 128, 128], выровненный по 5-точечному шаблону ArcFace × 128/112) и source (L2-нормализованный эмбеддинг [1, 512] от модели AuraFace-v1), после чего на выходе output получается готовый фрагмент лица [1, 3, 128, 128].
Подробнее
Оценка на 32 отложенных синтетических парах: косинусное сходство по AuraFace составило 0.85 (против 0.66 у InSwapper), а по независимому ArcFace w600k_r50 — 0.48 (против 0.80 у InSwapper).Архитектура: 42M параметров (энкодер, резидуальные блоки с AdaIN-модуляцией и декодер), 400k шагов обучения на ~19 600 синтетических лицах из FLUX.1 [schnell].
Ограничения: лицензия All rights reserved — для использования за пределами приложения AltFace требуется связаться с автором репозитория.










Комментарии