Antiphon-V1
единая нейросеть для распознавания и синтеза речи
2 min readupdated
Компактная англоязычная модель от thenukegun10x, которая объединяет в одних весах сразу две задачи: STT (распознавание речи в текст) и TTS (озвучивание текста). Вместо связки из двух отдельных нейросетей здесь используется общий 4-слойный трансформер на ≈117M параметров, обученный с помощью кросс-модального JEPA (предсказания скрытых представлений между текстом и звуком) и дополненный замороженными энкодерами Whisper-base, MiniLM-L6, ECAPA и вокодером HiFi-GAN. Модель отличается сверхнизким потреблением видеопамяти и высокой скоростью работы без проприетарных ядер. Подойдёт разработчикам голосовых интерфейсов и локальных ассистентов на английском языке, которым важна экономия ресурсов.
Ключевые особенности
- Две задачи в одном чекпоинте: единый набор весов (445 MiB в fp32 или 223 MiB в bf16) отвечает и за транскрибацию, и за генерацию речи с частотой дискретизации 16 kHz.
- Кросс-модальная архитектура JEPA: аудио через Whisper-base и фонемы через MiniLM-L6 проецируются в общий трансформер, а далее расходятся на ветку STT-декодера с CTC и TTS-голову с вокодером HiFi-GAN.
- Минимальные требования к железу: инференс работает на стандартном PyTorch SDPA (поддерживаются CUDA, ROCm и CPU) и занимает всего ≈1.1 GiB VRAM при распознавании и ≈0.7 GiB при синтезе.
- Высокая разборчивость TTS: на бенчмарке Seed-TTS-eval модель показала WER 2.58% (по оценке Whisper-large-v3), что близко к уровню SOTA-решений (1.2–2.5%).
Что можно сделать
- Встроить в локальный голосовой пайплайн: использовать один компактный чекпоинт на видеокарте с 2 ГБ VRAM или CPU для приёма голосовых команд и озвучивания ответов на английском.
- Озвучивать англоязычные тексты по референсу: передавать образец голоса (лучше всего подходят чистые записи в стиле аудиокниг) для генерации речи в заданном тембре.
- Запускать транскрибацию из CLI или Python: быстро переводить в текст короткие аудиозаписи длительностью до 15 секунд со скоростью выше 50× от реального времени.
Пример
from antiphon import Antiphon
model = Antiphon.from_pretrained()
text = model.transcribe("examples/samples/sample_audio.wav")
wav = model.synthesize("Hello world, this is Antiphon.",
speaker="examples/samples/sample_speaker.wav",
output_path="hello.wav")
Подробнее
Бенчмарки: LibriSpeech test-clean — WER 15.66% (54× real-time), test-other — WER 25.71%; Seed-TTS-eval — WER 2.58%, схожесть голоса (WavLM-SV) — 0.214.Железо: пиковое потребление ≈1.1 GiB VRAM (STT) и ≈0.7 GiB VRAM (TTS), замеры проводились на AMD RX 9070 XT (ROCm 7.2.1).
Ограничения: только английский язык, аудио до 15 секунд, офлайн-инференс; фронтенд TTS принимает только слова из словаря CMUdict без цифр и неизвестных слов (выдаёт
FrontendError), слабое zero-shot клонирование голоса.Лицензия и обучение: Apache-2.0, но встроенный энкодер ECAPA обучен на VoxCeleb (только некоммерческое использование); обучение проходило на LibriTTS-R train-clean-100.










Comments