NLD-Uni Image Tokenizer

Это сообщественная выгрузка тензоров encoder.vqvae.* из NVIDIA NLD-Uni (ревизия 5db755a2eb0ab84654e3dcf80c7d0245bfe36a50). Внутри — image encoder, codebook векторного квантования и image decoder; всего около 0.46B параметров. Это не самостоятельная text-to-image модель: packed image bridge, RADIO understanding encoder и diffusion language backbone не включены.

🤓 Ключевые особенности

• 👌 Сохранены имена, формы, dtype и значения тензоров; есть tensor_mapping.json и extraction.json.
• ⌨ Для загрузки нужны PyTorch, numpy, accelerate, Pillow и safetensors; веса грузит component.load_model(root).
• 🤝 На вход подаётся RGB, нормализованный в [-1, 1]; encode(x) возвращает квантованные признаки и token IDs.
• 👍 decode(quantized_features) восстанавливает пиксели; пространственное расположение токенов важно сохранять для генерации.
• 🙅‍♂ Лицензия NVIDIA ограничивает использование некоммерческими исследованиями или оценкой (раздел 3.3).

📝 Пример

Сценарий из карточки: загрузите компонент через component.load_model(root), подайте RGB-изображение в диапазоне [-1, 1], получите token IDs через model.encode(x), а затем проверьте реконструкцию через model.decode(quantized_features). Для smoke-теста на CPU см. validation.json.

Подробнее

Бенчмарки в карточке не приводятся.
Зависимости: PyTorch, numpy, accelerate, Pillow, safetensors.
Ограничение: только некоммерческие research/evaluation по лицензии NVIDIA; исходные notices нужно сохранять.
Это компонент, а не standalone text-to-image модель.