StereoHand

Это joint Pi3 inference checkpoint от cskrren для StereoHand: он объединяет temporal MANO на 110 000 шагов, temporal Mask на 40 000 шагов и декодер/голову Pi3 matching pi32. Для совместного инференса используется hand Pi3 register token.

📌 Ключевые особенности

• ✅ Полные восстановленные состояния модели, включая frozen Pi3 и stereo-параметры.
• 📌 Формат stereohand-joint-v1 с отдельными states для mask, mano и matching.
• 🔥 Temporal MANO — 110 000 шагов, temporal Mask — 40 000 шагов; одинаковые тензоры делят хранилище, значения и dtypes не меняются.
• 💻 Для запуска нужен код StereoHand и unpack_checkpoint.py; выходная директория должна быть новой.
• 🔮 Валидация проверяет сборку чекпоинта, а не новую точность 110k-снапшота.

💻 Пример

import torch
checkpoint = torch.load(
    "stereohand_pi3_mano110k_mask40k_matching_pi32.pt",
    map_location="cpu", mmap=True, weights_only=True,
)
mask_state = checkpoint["states"]["mask"]
mano_state = checkpoint["states"]["mano"]

Подробнее

В чекпоинте: temporal MANO — 110 000 шагов, temporal Mask — 40 000 шагов, декодер/голова Pi3 matching pi32.
Формат stereohand-joint-v1; optimizer state отсутствует, значения и dtypes тензоров сохранены.
Валидация проверяет shared Pi3/stereo equality, совместимость matching-backbone и конечность значений.
Это проверка сборки чекпоинта, а не новый бенчмарк точности для 110k-снапшота.