RWKV7-MTP-Exp

Экспериментальные MTP-сайдкары для speculative decoding с RWKV-7 G1l 7.2B и 13.3B. Небольшая надстройка читает hidden states замороженной базовой модели и предлагает следующие токены, а база проверяет их за один forward. Выходное распределение остаётся точно таким же, как у базовой модели; меняется только скорость.

✨ Ключевые особенности

• ⭐ Ускорение single-stream в 1.8–2.1× через RWKV-Infer-Next; 13.3B помещается на одну 16 GB GPU в int6 с --max-batch 16.
• 🧸 Сайдкар весит 496 MB (247.6M params) и добавляет один transformer-style block, применяемый K раз за шаг.
• 👁 Использует последний hidden state базы, два промежуточных residual stream (EAGLE-3-style fusion) и embedding токена.
• ✅ Выходное распределение совпадает с базовой моделью: драфтер влияет только на скорость.
• 🕸 Gated sliding-window attention с окном 512 и RWKV-7 channel-mix сохраняют постоянную память.
• ❌ Сайдкар работает только со своей базовой моделью; при несовпадении RWKV-Infer-Next отказывается загружать его.

💻 Пример

pip install -r requirements.txt
python -m rwkv_next --model RWKV/RWKV7-G1l-7.2B-20261031 --tp 1
python -m rwkv_next --model RWKV/RWKV7-G1l-13.3B-20261031 --tp 1 --max-batch 16
python -m rwkv_next --model RWKV/RWKV7-G1l-13.3B-20261031 --tp 2

Подробнее

Бенчмарки: 7.2B на одной 16 GB GPU — 117 → 226–228 tok/s (1.9×); 13.3B — 63–64 → 136 tok/s (2.1×).
Для 13.3B в int6 используется 14.5 GB VRAM; нужен --max-batch 16.
Ограничения: экспериментальные чекпоинты, привязка к ревизии базы, меньшее acceptance на английском чате и китайском.
На больших батчах выигрыш небольшой; по умолчанию MTP там отключается.