RWKV-7 7.2B LightMTP

Это не самостоятельная модель, а draft-head для greedy speculative decoding к базе rwkv7-g1k-7.2b-20260930-ctx25600 от rwkv-org. Содержит только MTP-голову на 209,7 млн параметров в bf16; базовая модель нужна отдельно.

📊 Ключевые особенности

• ⚡ Draft-цепочка depth 4 с общим LM head; в irwkv выход token-for-token совпадает с baseline.
• 📈 На H100 bf16: 160,90 tok/s против 106,57 у baseline на tulu-промпте — ускорение 1,510×.
• 📊 На perfectblend лучший результат — 1,271× при depth 3; цифры только для greedy, batch size 1.
• ⚙ Требуются FlashRWKV2 0.1.0a18 и локальный патч irwkv с MTP; upstream main фичу не содержит.
• ❗ Только temperature=0 и max_num_seqs=1; при temperature > 0 MTP отключается.

💻 Пример

CUDA_VISIBLE_DEVICES=0 IRWKV_RWKV_MTP_DEPTH=4 \
  /path/to/irwkv/.venv/bin/irwkv serve /path/to/base-model-dir \
  --trust-remote-code --dtype bfloat16 \
  --max-model-len 2048 --gpu-memory-utilization 0.55 \
  --max-num-seqs 1 --port 8000

Подробнее

Обучение: tulu SFT, 1000 шагов, lr 6e-4, 8×H100.
Файл mtp.safetensors — 419 497 160 B, bf16.
Depth 4 должен совпадать в mtp_config.json и IRWKV_RWKV_MTP_DEPTH.
Ограничения: greedy only, один запрос, нужен патч irwkv.