FastH3-Omni MLX INT4

Предконвертированный 4-битный affine-квантованный чекпойнт для FastH3-Omni — модели генерации видео и аудио по нескольким референсам. Работает нативно на Apple Silicon через Metal и Apple MLX. Создан, чтобы убрать необходимость скачивать ~65 ГБ сырых весов и тратить 50+ ГБ RAM на конвертацию.

⚡ Ключевые особенности

• ⚡ Веса DiT сжаты с ~52.8 ГБ BF16 до ~11.9 ГБ INT4 affine (group_size=64).
• 💻 Полная раздача — ~15.0 ГБ вместо ~65 ГБ; минимум 24 ГБ Apple Silicon, также заявлены 32 и 64 ГБ.
• 🎬 Предзапечённый AdaLN-кэш для 8-шагового PDD-планировщика экономит ~12 ГБ runtime VRAM.
• 🔎 Сохранены VSA gate-матрицы для пространственного кондиционирования по нескольким референсам.
• 🗂 В комплекте Quality 36L VAE decoder (1.3 ГБ), Fast 8L decoder (313 МБ), LightVAE Lite encoder (388 МБ) и аудио-VAE (577 МБ).

🧑‍💻 Пример

import mlx.core as mx
from fastvideo.mlx_runtime.minimax_h3 import load_mlx_h3_checkpoint
from huggingface_hub import snapshot_download

model_dir = snapshot_download('Disrupt-linus/FastH3-Omni-MLX-INT4')
dit = load_mlx_h3_checkpoint(f'{model_dir}/dit/int4')
print(len(dit.blocks), dit.vsa_capable)

Подробнее

DiT: ~11.9 ГБ в INT4; полная раздача ~15 ГБ.
Минимально 24 ГБ Apple Silicon; ориентир — M1/M2/M3/M4 Pro/Max/Ultra.
В примере инференса: 49 кадров, 480×720, 8 шагов.
Cross-attention и normalization слои оставлены в полной точности; ограничение — запуск на Apple Silicon через MLX.