WorldCrafter-Context
авторегрессивный видеобейзлайн без memory encoder
1 мин чтенияобновлено
WorldCrafter-Context — промежуточный тренировочный чекпоинт от Drexubery для image-to-video генерации с историческим контекстом кадров и UCPE-управлением камерой. Это baseline без memory encoder: история подаётся как video latents. Предшествует обученному memory encoder в WorldCrafter-Base и WorldCrafter-Fast и предназначен для файнтюна и разработки собственных memory mechanisms.
Ключевые особенности
- Промежуточный чекпоинт для исследователей: файнтюн и свои memory mechanisms, например point-cloud conditioning.
- UCPE camera adapter:
camera_adapter.bin, FP32, примерно 2.10 GB, 400 тензоровblocks.<index>.cam_self_attn.*. - Transformer берётся из
TencentARC/WorldCrafter-Base; text encoder, tokenizer, VAE и scheduler — изTencentARC/WorldCrafter-Fast. - Memory encoder отсутствует: исторические video latents используются как контекст.
- Для кастомной интеграции: текущие entrypoints Base/Fast и
DiffusionPipeline.from_pretrainedне загружают Context автоматически.
Пример
pip install huggingface_hub
hf download Drexubery/WorldCrafter-Context --local-dir weights/WorldCrafter-Context
hf download TencentARC/WorldCrafter-Base --revision d6b4731d4cec53f90b6afaee5a0f1b77d29979aa --include "transformer/*" --local-dir weights/WorldCrafter-Base
hf download TencentARC/WorldCrafter-Fast --revision d2ac12a654f8cafde4cb2e0ae7d5127ce2624939 --include "text_encoder/*" "tokenizer/*" "vae/*" "scheduler/*" --local-dir weights/WorldCrafter-Fast
Подробнее
Компоненты зафиксированы по ревизиям вinference_config.json и model_index.json; веса общих компонентов не дублируются, manifest.json хранит хэши и размеры.camera_adapter.bin — оригинальный FP32 PyTorch state dict без внешней обёртки.Бенчмарков и требований к VRAM в карточке нет: это baseline для исследователей, а не готовый пайплайн.










Комментарии