MiniMax-H3 FP8

Репозиторий addlabsviral/minimax-h3-fp8 — FP8 weight-only квантование MiniMax-H3 через torchao Float8WeightOnlyConfig (e4m3). В трансформере FL2VA / i2v веса хранятся в FP8, вычисления идут в bf16, а turbo LoRA уже вшита. Модель на 33.12B параметров; VAE, scheduler, tokenizer и processor оставлены без изменений в bf16.

1⃣ Ключевые особенности

• ➖ FP8 weight-only для transformer/: меньше вес, compute bf16.
• ➕ Turbo LoRA уже свёрнута в веса — отдельно подключать не нужно.
• 🟰 Настройки VAE, scheduler, tokenizer и processor не квантованы.
• 🔜 В этот же репозиторий обещают добавить text_encoder/ (Qwen3-VL) и второй transformer.
• ✖ Загрузка через diffusers ModularPipeline с workflow="fl2va".

2⃣ Пример

import torch
from diffusers import ModularPipeline
pipe = ModularPipeline.from_pretrained("addlabsviral/minimax-h3-fp8", workflow="fl2va")
# transformer loads FP8 automatically via config.json (torchao)

Подробнее

Параметров: 33.12B.
Квантован только transformer; text_encoder и второй transformer пока в планах.
VAE, scheduler, tokenizer и processor — bf16 без изменений.
Апстрим: MiniMaxAI/MiniMax-H3.