FINE_InternVLA_N1_R2R_100

Это чекпойнт FINE (Future-Informed Navigation Encoding), дообученный на 100% тренировочных демонстраций R2R-CE. Модель построена на InternVLA-N1 и добавляет обучение на будущих наблюдениях, чтобы эффективнее использовать демонстрации для vision-language navigation.

🔤 Ключевые особенности

• 🔜 FINE добавляет supervision будущих наблюдений без дополнительной разметки или взаимодействия.
• 0⃣ 18 явных landmark-токенов идут по ориентирам инструкции и предсказывают область следующего ориентира в 2D semantic (Qwen2.5-VL patch) и 3D geometric (VGGT) признаках.
• 1⃣ Неявный future-токен обучается контрастивно (InfoNCE) отличать реально достигнутое будущее от других, включая контрфактические rollouts видео-world model.
• 2⃣ Оба потока токенов подаются в System 1 через отдельные gated projectors.
• 3⃣ На инференсе сохраняются исходные action space и action head InternVLA-N1; lookahead не нужен.

🟰 Пример

Сценарий из карточки: робот получает историю RGB-D из 8 кадров 224×224, текстовую инструкцию и landmark-токены; System 2 выдаёт пиксельную цель или дискретные действия, а System 1 — непрерывную локальную траекторию.

Подробнее

Архитектура: Qwen2.5-VL-7B System 2 + NextDiT (nextdit_async) System 1, 8,61 млрд параметров.
Обучение: 100% демонстраций R2R-CE, landmark-маски и контрфактические будущие сцены от world model.
Будущие кадры, маски, VGGT и rollouts используются только при обучении; на деплое lookahead не требуется.
Точность: bfloat16; веса разбиты на 4 safetensors-шарда.