Shallow-π0.5 L6

Это 6-слойный студент π0.5, дистиллированный из 18-слойного учителя для роборуки SO-101. Задача — взять красный блок и положить его на цель с X. У студента 1.749 B параметров против 3.353 B у учителя; выбран чекпоинт checkpoints/6000.

🤓 Ключевые особенности

• 🤓 В VLM PaliGemma gemma_2b и action expert gemma_300m по 6 слоёв вместо 18; vision SigLIP So400m/14 — 27 слоёв, скопирован и дообучен.
• 📝 Loss = task loss + velocity distillation; attention-distillation из статьи не используется.
• ⌨ Чекпоинты OpenPI (JAX/Orbax) на обновлениях 2000–10000; выбран 6000 по минимальному расхождению с учителем на шагах 0–9.
• 🏃‍♂ На H100 end-to-end P50 30.2 мс против 51.1 мс у учителя; на A100 — 47.2 против 86.1 мс.
• 🤔 Физических роллаутов пока нет: протокол 20 раскладок × 2 политики подготовлен, результатов нет.

⌨ Пример

huggingface-cli download jiajinda/so101-shallow-pi05-l6-red-block-to-target-v234 --revision <rev> --include "checkpoints/6000/*" "code/*" "examples/*" --local-dir so101-shallow
cd so101-shallow
python code/serve_student.py --checkpoint checkpoints/6000 --selftest_npz examples/selftest_obs.npz

Подробнее

Учитель π0.5 — 3.353 B, студент — 1.749 B; выбран checkpoints/6000.
Latency P50: H100 — 30.2 мс end-to-end, A100 — 47.2 мс; у учителя 51.1 и 86.1 мс.
Обучение: 10 000 шагов AdamW, 1× H100 80GB, пик 50.4 GB, ≈4.9 ч.
Нужен OpenPI commit 215abfb и папка code/: штатный конфиг π0.5 чекпоинты не загрузит.
Физических испытаний пока нет.