Kimi K3.1 Pro MoonViT-V2

Community-извлечение от gatilin из moonshotai/Kimi-K3.1-Pro: только vision_tower.* и mm_projector.*, без языковой модели. Внутри — 27-слойный MoonViT-V2 и patch-merger projector, около 0.45B параметров; задача — feature-extraction. Это не официальный релиз Moonshot AI.

🔎 Ключевые особенности

• 🧬 27-слойный MoonViT-V2 и patch-merger projector в одном репозитории; 168 тензоров с исходными ключами, формами, dtype и значениями.
• 📀 tensor_mapping.json и extraction.json: источники шардов, byte-level проверка и SHA-256.
• ⚙ modeling_moonvit.py адаптирован из официальной реализации Kimi K3; используется eager attention для переносимости.
• 🧩 В комплекте оригинальный image processor K3.1 Pro; вход — packed patch tensors, а не обычные RGB BCHW.
• 🛑 Языковая модель не входит; совместимость с полным production-стеком K3.1 Pro не заявлена.

🔬 Пример

from component import load_model, load_processor
model = load_model(root)
processor = load_processor(root)
inputs = processor.preprocess([{'type': 'image', 'image': Image.open('image.jpg').convert('RGB')}], return_tensors='pt')
vision_features = model.vision_tower(inputs['pixel_values'], inputs['grid_thws'])
projected_features = model.mm_projector(vision_features)
print(len(vision_features), projected_features[0].shape)

Подробнее

Параметров: ~0.45B; задача: feature-extraction; библиотека: pytorch.
Валидация: только локальный CPU smoke test; numerical parity с полным K3.1 Pro, качество на разных разрешениях и поведение CUDA/FlashAttention не подтверждены.
Лицензии: веса и процессор — Kimi K3.1-Pro License; код на основе K3 — Kimi K3 License с Apache 2.0 attribution. Перед использованием проверьте условия.
Официального релиза от Moonshot AI нет; карточка на английском.