Pika-H3-Flex-NVFP4-FP4Attn-QAD

Это скоростной вариант Pika H3 Flex NVFP4 QAD от FastVideo для image-to-video на NVIDIA Blackwell. Модель на 13,86 млрд параметров: линейные слои и внимание работают в 4-bit, Q/K идут через NVFP4-путь FlashAttention-4, а вероятности attention и values остаются в BF16. Оба Flex-адаптера обучены с quantization-aware distillation (QAD) при точно таких же численных настройках.

🔍 Ключевые особенности

• ⚡ Линейные слои и внимание в 4-bit: Q/K через NVFP4-путь FlashAttention-4, probabilities и values — в BF16.
• 🖥 Нужна NVIDIA Blackwell; на других GPU карточка советует Pika H3 Flex в BF16.
• 🔄 2 из 50 блоков transformer сохраняют BF16 attention; оба Flex-адаптера обучены с QAD под эти же numerics.
• 📈 На одной GB200 15-секундный клип 768p примерно на 12% быстрее end to end, чем у варианта с BF16 attention; короткие клипы — примерно так же.
• 🗺 Задачи: T2VA, I2VA, L2VA, FL2VA и Ref2VA — с до 9 изображениями, 3 видео и 3 аудиофрагментами.
• 💬 Выход близок к BF16-attention варианту, но квантованный результат может отличаться; с reference-входами первый кадр может чуть меньше следовать first-frame reference.

💻 Пример

FASTVIDEO_ATTENTION_BACKEND=FLASH_ATTN FASTVIDEO_FA4=1 \
python examples/inference/basic/basic_pika_h3_flex.py \
  --model-path FastVideo/Pika-H3-Flex-NVFP4-FP4Attn-QAD --nvfp4-dit h3_dit \
  --nvfp4-attention smooth_k+hadamard --nvfp4-attention-bf16-blocks 45,49 \
  --nvfp4-decoder <snapshot>/vae_decoder_nvfp4/decoder-nvfp4.safetensors \
  --task fl2va --image first.png --last-image last.png \
  --prompt "$(cat prompt.txt)" --resolution 768p --duration 15

Подробнее

📈 На GB200 15-секундный клип 768p примерно на 12% быстрее end to end, чем с BF16 attention; короткие клипы — почти без разницы.
🖥 NVFP4-ядра и FP4 attention требуют NVIDIA Blackwell; на других GPU используйте Pika H3 Flex в BF16.
⚠️ Квантованный выход может отличаться от BF16; с reference-входами opening frame может чуть меньше следовать first-frame reference.
⚙️ Модель обучена под FP4-attention настройки; с BF16 attention она работает, но для него есть отдельный вариант.