FlagRelease/Hy4-W8A8-iluvatar-FlagOS
мультимодальная модель Tencent Hunyuan для чипов Iluvatar
2 мин чтенияобновлено
Tencent Hunyuan официально открыла исходный код своей мультимодальной модели Hy4, а сообщество FlagOS выполнило кросс-аппаратную адаптацию и подготовило квантованную версию W8A8. Модель ориентирована на реальные сценарии производительности, поддерживает визуальное понимание, работу с компьютером, выполнение сложных задач и обработку длинного текста. Версия построена на базе стека FlagOS 2.2 и оптимизирована для запуска на альтернативных аппаратных платформах, обеспечивая высокую скорость инференса. Релиз предназначен для разработчиков и инженеров, занимающихся развертыванием крупных мультимодальных моделей на гетерогенном железе.
Ключевые особенности
- Кросс-аппаратная адаптация: Официальная интеграция модели Hy4 в экосистему FlagOS с поддержкой множества вендоров.
- Оптимизация производительности: Использование связки vLLM и библиотеки операторов FlagGems для ускорения вычислений.
- W8A8 квантование: Снижение требований к памяти и повышение пропускной способности при сохранении качества генерации.
- Мультимодальность: Полноценная поддержка текстовых и визуальных задач, включая анализ сложных графиков и интерфейсов.
Что можно сделать
- Развернуть сервер инференса: Запустить распределенный кластер на базе 16 карт Iluvatar BI-V150 с использованием готового Docker-образа.
- Интегрировать в чат-боты: Подключить модель к внешним клиентским приложениям и сервисам через OpenAI-совместимый API vLLM.
- Обрабатывать изображения: Передавать мультимодальные запросы с графическими данными для визуального анализа и ответов по картинкам.
Пример
curl http://localhost:8400/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "hy4",
"messages": [{"role": "user", "content": "中国的首都是哪个城市?"}],
"max_tokens": 64,
"temperature": 0
}'Подробнее
• Архитектура: HyV4VLForConditionalGeneration (246 шардов, 793 ГБ)• Оборудование: 2 узла × 16 карт Iluvatar BI-V150 (32 ГБ)
• Конфигурация: Tensor Parallelism 8, Pipeline Parallelism 4
• Ограничения: критически важно использовать режим PIECEWISE graph и не очищать кэш /root/.triton










Комментарии