NanoKV

NanoKV — это codec и Fast attention readers для HY-WorldPlay, LingBot-World 2.0 и Matrix-Game 3.5. Набор предназначен для сжатия KV-кэша с высоким коэффициентом в авторегрессионной генерации видео. В каждом каталоге есть codec.pt, readers/, профили инференса, переносимый Fast-манифест, checksums и гид по модели.

🔥 Ключевые особенности

• 🎞 Поддерживаются три бэкбона: HY-WorldPlay, LingBot-World 2.0 и Matrix-Game 3.5.
• 🔥 Fast readers используют тот же codec, что и NanoKV, плюс собственные readers.
• 💻 В каталогах лежат codec.pt, readers/, профили nanokv.json/fast.json, Fast-манифест, checksums и гайд.
• 📚 Для запуска есть prepare_artifacts и отдельные команды инференса.
• 🌎 Каждый бэкбон сохраняет собственную лицензию.

💻 Пример

pip install -U huggingface_hub
hf download jiacheng1234/NanoKV --include 'hy-worldplay/*' --local-dir ./checkpoints
export ARTIFACTS=$PWD/checkpoints/hy-worldplay
(cd $ARTIFACTS && sha256sum -c SHA256SUMS)
python -m nanokv.prepare_artifacts --model hy --artifacts $ARTIFACTS --output $ARTIFACTS/manifest.json

Подробнее

Размеры чекпоинтов: HY-WorldPlay — 281 MiB, LingBot-World 2.0 — 1,260 MiB, Matrix-Game 3.5 — 452 MiB.
В комплекте: 1 codec и 41/40/30 Fast readers соответственно.
Нужна установка базовой модели по setup guide; лицензии у каждого бэкбона свои.
Бенчмарков и требований к VRAM в карточке нет.