К содержимому
Компьютерное зрение

Antiphon-V1

единая нейросеть для распознавания и синтеза речи

2 мин чтенияобновлено

Компактная англоязычная модель от thenukegun10x, которая объединяет в одних весах сразу две задачи: STT (распознавание речи в текст) и TTS (озвучивание текста). Вместо связки из двух отдельных нейросетей здесь используется общий 4-слойный трансформер на ≈117M параметров, обученный с помощью кросс-модального JEPA (предсказания скрытых представлений между текстом и звуком) и дополненный замороженными энкодерами Whisper-base, MiniLM-L6, ECAPA и вокодером HiFi-GAN. Модель отличается сверхнизким потреблением видеопамяти и высокой скоростью работы без проприетарных ядер. Подойдёт разработчикам голосовых интерфейсов и локальных ассистентов на английском языке, которым важна экономия ресурсов.

Ключевые особенности

  • Две задачи в одном чекпоинте: единый набор весов (445 MiB в fp32 или 223 MiB в bf16) отвечает и за транскрибацию, и за генерацию речи с частотой дискретизации 16 kHz.
  • Кросс-модальная архитектура JEPA: аудио через Whisper-base и фонемы через MiniLM-L6 проецируются в общий трансформер, а далее расходятся на ветку STT-декодера с CTC и TTS-голову с вокодером HiFi-GAN.
  • Минимальные требования к железу: инференс работает на стандартном PyTorch SDPA (поддерживаются CUDA, ROCm и CPU) и занимает всего ≈1.1 GiB VRAM при распознавании и ≈0.7 GiB при синтезе.
  • Высокая разборчивость TTS: на бенчмарке Seed-TTS-eval модель показала WER 2.58% (по оценке Whisper-large-v3), что близко к уровню SOTA-решений (1.2–2.5%).

Что можно сделать

  • Встроить в локальный голосовой пайплайн: использовать один компактный чекпоинт на видеокарте с 2 ГБ VRAM или CPU для приёма голосовых команд и озвучивания ответов на английском.
  • Озвучивать англоязычные тексты по референсу: передавать образец голоса (лучше всего подходят чистые записи в стиле аудиокниг) для генерации речи в заданном тембре.
  • Запускать транскрибацию из CLI или Python: быстро переводить в текст короткие аудиозаписи длительностью до 15 секунд со скоростью выше 50× от реального времени.

Пример

from antiphon import Antiphon

model = Antiphon.from_pretrained()
text = model.transcribe("examples/samples/sample_audio.wav")
wav = model.synthesize("Hello world, this is Antiphon.",
                       speaker="examples/samples/sample_speaker.wav",
                       output_path="hello.wav")
ПодробнееБенчмарки: LibriSpeech test-clean — WER 15.66% (54× real-time), test-other — WER 25.71%; Seed-TTS-eval — WER 2.58%, схожесть голоса (WavLM-SV) — 0.214.
Железо: пиковое потребление ≈1.1 GiB VRAM (STT) и ≈0.7 GiB VRAM (TTS), замеры проводились на AMD RX 9070 XT (ROCm 7.2.1).
Ограничения: только английский язык, аудио до 15 секунд, офлайн-инференс; фронтенд TTS принимает только слова из словаря CMUdict без цифр и неизвестных слов (выдаёт FrontendError), слабое zero-shot клонирование голоса.
Лицензия и обучение: Apache-2.0, но встроенный энкодер ECAPA обучен на VoxCeleb (только некоммерческое использование); обучение проходило на LibriTTS-R train-clean-100.
Обсудить Telegram 0

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 0.3 GB · готовые файлы0.8 GB
  • FP8 / INT8рекомендуемвеса 0.1 GB0.6 GB
  • 4-bitвеса 0.1 GB0.6 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # thenukegun10x/Antiphon-V1
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download thenukegun10x/Antiphon-V1 --local-dir ~/models/Antiphon-V1
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Antiphon-V1
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии Antiphon-V1 — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

thenukegun10x/Antiphon-V1
Автор
thenukegun10x
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

Blossom-V7.2-9B

Blossom-V7.2-9B
Компьютерное зрение

Zen 6 (27B)

Zen 6 (27B)
Компьютерное зрение

Zen 6 Nano (9B)

Zen 6 Nano (9B)