few-shot-run-2

Это SFT-чекпоинт MolmoAct2 (5.6 млрд параметров) от Riasok на шаге 5000, обученный локально на 10 демонстрациях на задачу для 40 задач LIBERO — всего 400 демонстраций и 66 788 кадров. Базовая модель — allenai/MolmoAct2, библиотека LeRobot. Это стартовый SFT-чекпоинт для нового Spatial PPO-эксперимента на 150 обновлений.

📝 Ключевые особенности

• 📝 Обучение: 10 демонстраций на задачу, 40 задач LIBERO, 400 демонстраций и 66 788 кадров.
• 👍 VLM LoRA rank 64 / alpha 16; action expert также обучался.
• 👍 LIBERO Spatial success: 402/500 (80.4%).
• ⌨ В репозитории — веса политики LeRobot, пре/постпроцессоры и тензоры нормализации; нужна training-enabled реализация MolmoAct2.
• 😐 Отдельная модель от Riasok/few-shot-run-1 и старого PPO Riasok/PPO-run1.

⌨ Пример

from huggingface_hub import snapshot_download

local_dir = snapshot_download("Riasok/few-shot-run-2")
# далее загрузите local_dir через MolmoAct2Policy.from_pretrained
# и сохранённые процессоры

Подробнее

LIBERO Spatial: 402/500 (80.4%); оценка только Spatial, хотя SFT шёл на всех четырёх наборах LIBERO.
Eval: seeds 1000+, 50 settling steps, horizon 280, 10 flow steps, 256px agent/wrist RGB, FP32 inference.
Обучение: BF16, global batch 16 (4 на GPU), VLM LoRA rank 64 / alpha 16.
Официальный full-data референс для LIBERO — allenai/MolmoAct2-LIBERO от AllenAI.