LingBot-VA LB43 s11750

LingBot-VA LB43 — чекпойнт step 11750 полного файнтюна трансформера robbyant/lingbot-va-base на чистых демонстрациях 43 задач RoboTwin 2.0. Размер модели — 5,09 млрд параметров; VAE и текстовый энкодер заморожены и скопированы из базовой модели без изменений. Обучение шло только на 43 «виденных» задачах, 7 невиденных задач в тренировке не участвовали.

🧩 Ключевые особенности

• 🦾 Полный файнтюн только трансформера: 10,2 ГБ в bf16 safetensors, конфиг совпадает с базовой моделью.
• 📀 Данные: 2150 эпизодов — по 50 демонстраций на каждую из 43 задач, без рандомизированных демо.
• ⚡ Рецепт LingBot-VA: AdamW, lr 1e-5, grad clip 2.0, text dropout 0.1, эффективный batch 16 на 8×H100 с FSDP2.
• 🎯 Чекпойнт step 11750 — около 87 эпох; полный прогон доходил до 18800 шагов, но здесь опубликован не последний чекпойнт.
• 🔬 В репозитории есть конфиг обучения, метрики по шагам и все эпизоды оценки.

💡 Пример

Сценарий из карточки — оценка на шести невиденных задачах RoboTwin 2.0 по 50 эпизодов: move_stapler_pad, cup, scale, stamp_seal, bread и stack_blocks_three. Для move_stapler_pad и stamp_seal использованы критерии успеха Zero-WAM, поэтому их результаты не сравнимы напрямую со стандартным RoboTwin.

Подробнее

На невиденных задачах step 11750 решает 94 из 300 эпизодов (31,3%); последний чекпойнт прогона step 18800 — 109 из 300 (36,3%).
По задачам: stapler 27/50, cup 27/50, scale 7/50, seal 8/50, bread 25/50, stack 0/50.
Все эпизоды stack_blocks_three упёрлись в лимит 640 действий; open_microwave не оценивался.
Лицензия Apache-2.0, как у базовой модели.