Hy4-Flash
мультимодальная модель от Tencent Hunyuan на 220 млрд параметров
2 мин чтения
Hy4-Flash — это крупная мультимодальная модель общего назначения, разработанная Tencent Hunyuan и адаптированная под экосистему FlagOS для работы на различных аппаратных платформах. Модель имеет около 220 миллиардов общих параметров (включая примерно 64 миллиарда параметров Engram) и активирует около 12 миллиардов параметров на один токен. Она поддерживает работу с текстом и изображениями, контекстную длину до 1 миллиона токенов и гибридную архитектуру с Latent MoE (смесь экспертов). Модель оптимизирована для офисных сценариев, включая глубокий поиск, обработку документов и генерацию презентаций, обеспечивая сниженное потребление памяти KV Cache и высокую пропускную способность.
Ключевые особенности
- Нативная поддержка текстовых и визуальных входов с контекстом до 1 миллиона токенов.
- Архитектура с Latent MoE и Engram, снижающая размер KV Cache в шесть раз по сравнению с базовой версией Hy4.
- Адаптация под стек FlagOS для кросс-аппаратного развертывания на различных чипах (включая Moore Threads, NVIDIA и др.).
- Высокие результаты в бенчмарках (например, 96 в Math-500 и 92.6 в mmbench).
Что можно сделать
- Развернуть локальный сервер инференса для обработки длинных контекстов и мультимодальных задач.
- Использовать модель для автоматизации документооборота, глубокого поиска и генерации презентаций (PPT).
- Интегрировать модель в рабочие процессы с помощью готовых скриптов развертывания и Docker-контейнеров FlagOS.
Пример
Пример запроса к запущенному серверу инференса через API с использованием curl:
curl --fail-with-body --silent --show-error --max-time 180 \
[http://127.0.0.1:30200/v1/chat/completions](http://127.0.0.1:30200/v1/chat/completions) \
-H 'Content-Type: application/json' \
--data-binary '{"model":"Hy4-flash","messages":[{"role":"user","content":"只回答数字:1+1等于多少?"}],"temperature":0,"max_tokens":32,"stream":false,"chat_template_kwargs":{"reasoning_effort":"no_think"}}'Подробнее
Параметры: 220.25 млрд параметров всего, ~12B активных.Бенчмарки: Math-500 — 96, GPQA_Diamond — 92.42, mmbench — 92.6, mmstar — 80.93.
Лицензия: Apache License 2.0.
Требования: Поддержка распределенного инференса с tensor parallel size (tp-size) 8.










Комментарии