Hy-SimulMT-30B-A3B-FP8

Hy-SimulMT — модель синхронного перевода Tencent Hunyuan для встреч, лекций и интервью. Она принимает аудиопоток и по ходу речи выдаёт перевод текстом и речью, поддерживая двунаправленный китайско-английский перевод и клонирование голоса. Это FP8-вариант на 30,39 млрд параметров с выводом только перевода.

👌 Ключевые особенности

• 🗣 Двунаправленный синхронный перевод речи: китайский ↔ английский.
• 🤝 На выходе не только текст, но и речь; real-time voice cloning сохраняет голос говорящего.
• 🏃‍♂ Низкая задержка: StreamLAAL около 3 секунд на RealSI long-form — лучший результат среди сравниваемых систем.
• 😎 Качество: GEMBA выше, чем у open-source моделей и четырёх из пяти коммерческих API.
• 📝 Эта версия выдаёт только перевод, без исходного текста.
• ⌨ Для синтеза речи и клонирования голоса нужен настроенный TTS-сервис.

📝 Пример

Сценарий из карточки: аудиопоток лекции на китайском подаётся в модель — слушатель получает английский перевод текстом и речью, а голос лектора сохраняется. Для запуска используйте SimulInfer из GitHub-репозитория; для звука и клонирования нужен настроенный TTS.

Подробнее

StreamLAAL ≈ 3 с на RealSI long-form — лучший результат среди показанных систем; GEMBA выше open-source моделей и 4 из 5 коммерческих API.
RealSI-Sentence: 84,7 — максимум в таблице; FLEURS 90,3, CoVoST2 75,5, ACL6060 81,2.
Поддерживается только китайский ↔ английский; речь и клонирование требуют настроенного TTS.
Сравнение с людьми — на 18 записях примерно по 6 минут и шести синхронистах; это небольшая оценка, а не полный аудит.