NanoKV
сжатие KV-кэша для авторегрессионной генерации видео
1 min read
NanoKV — это codec и Fast attention readers для HY-WorldPlay, LingBot-World 2.0 и Matrix-Game 3.5. Набор предназначен для сжатия KV-кэша с высоким коэффициентом в авторегрессионной генерации видео. В каждом каталоге есть codec.pt, readers/, профили инференса, переносимый Fast-манифест, checksums и гид по модели.
Ключевые особенности
- Поддерживаются три бэкбона: HY-WorldPlay, LingBot-World 2.0 и Matrix-Game 3.5.
- Fast readers используют тот же codec, что и NanoKV, плюс собственные readers.
- В каталогах лежат
codec.pt,readers/, профилиnanokv.json/fast.json, Fast-манифест, checksums и гайд. - Для запуска есть
prepare_artifactsи отдельные команды инференса. - Каждый бэкбон сохраняет собственную лицензию.
Пример
pip install -U huggingface_hub
hf download jiacheng1234/NanoKV --include 'hy-worldplay/*' --local-dir ./checkpoints
export ARTIFACTS=$PWD/checkpoints/hy-worldplay
(cd $ARTIFACTS && sha256sum -c SHA256SUMS)
python -m nanokv.prepare_artifacts --model hy --artifacts $ARTIFACTS --output $ARTIFACTS/manifest.json
Подробнее
Размеры чекпоинтов: HY-WorldPlay — 281 MiB, LingBot-World 2.0 — 1,260 MiB, Matrix-Game 3.5 — 452 MiB.В комплекте: 1 codec и 41/40/30 Fast readers соответственно.
Нужна установка базовой модели по setup guide; лицензии у каждого бэкбона свои.
Бенчмарков и требований к VRAM в карточке нет.










Comments