Index-Translate-omni-35B-FP8

FP8-квантованный экспорт Index-Translate-omni-35B от IndexTeam на 35,11 млрд параметров. Модель переводит текст с учётом терминологии и форматирования, переводит изображения, распознаёт речь и выполняет двунаправленный перевод речи между китайским и английским. В экспорте языковые и визуальные веса, а аудиомодули остаются в BF16.

🗣 Ключевые особенности

• 🗣 Текст, изображения и речь в одной модели: перевод, image translation, ASR и speech translation.
• 📝 Языковые веса в FP8: per-channel scales и dynamic per-token FP8 activations (FP8_DYNAMIC); lm_head и token embeddings не квантуются.
• 🤓 Визуальные тензоры остаются в FP32, аудиоэнкодер и коннектор — в BF16.
• 🗣 Один общий аудиоэнкодер и коннектор для ASR и перевода речи.
• 🏃‍♂ В комплекте JointModel runtime с text_generate, image_generate и audio_generate.
• 🤝 В линейке есть варианты 2B, 9B и 35B, включая FP4/FP8; GGUF — отдельный экспорт без аудио.

📝 Пример

from joint_runtime import JointModel

model = JointModel('.', device_map='auto')
print(model.text_generate([{'role': 'user', 'content': 'Translate into English: 人工智能正在改变内容创作。'}]))
print(model.audio_generate('<audio>\nTranscribe the speech and translate it into English.', ['/path/to/audio.wav']))

Подробнее

Текст (оригинальная 35BA3B): FLORES COMET22 0.8795, WMT24++ COMET22 0.8593, WMT26 Judge 78.01.
Речь: Chinese ASR CER 13.0053, English ASR CER 15.4950; en→zh BLEU/chrF2/CER 40.074/32.862/44.8097, zh→en 32.411/53.452/46.1700.
Изображения: MMTIT 77.011, FLORES-rendered 69.891, Vistra 71.482 (COMET22×100).
Бенчмарки в карточке — результаты оригинальной модели, не этого FP8-экспорта. JointModel запрашивает dequantize=True: после загрузки вычисления идут в BF16, это не ускорение на FP8-ядрах. Визуальные веса держать в FP32, аудио — в BF16; аудиогенерация ограничена 256 токенами.