Ishinca-4B-DART50
компактная VLA для автономного вождения
2 мин чтенияобновлено
Ishinca-4B-DART50 — исследовательская vision-language-action (VLA) модель для автономного вождения: по кадрам с четырёх камер и истории движения она предсказывает траекторию автомобиля и может пояснить решение текстом Chain-of-Causation. Это дистилляция NVIDIA Alpamayo 1.5 10B в 4,23B-модель; backbone инициализирован от Cosmos-Reason2-2B (архитектура Qwen3-VL-2B), а action expert обучен flow matching на действиях учителя. Вариант DART50 дополнительно отбрасывает 50% vision-токенов (1 440 вместо 2 880), снижая prefill/KV-затраты. Подойдёт для исследований дистилляции VLA, прунинга токенов и проверки в симуляторе AlpaSim, но не для реального автомобиля.
Ключевые особенности
- Дистилляция из Alpamayo-1.5-10B в 4,23B; цели — текст CoC и траектории учителя, без ground-truth траекторий.
- DART-прунинг vision-токенов с keep ratio 50%: 1 440 image tokens на сэмпл вместо 2 880.
- На входе 4 камеры × 4 кадра 320×576, история ego за 16 шагов и опциональная nav-инструкция.
- На выходе 64 waypoints на 10 Hz (6,4 с) в unicycle-пространстве ускорение/кривизна.
- В eager PyTorch на RTX 3090 — около 8 GiB VRAM и 1,0–1,2 с на вызов.
Что можно сделать
- Сравнить DART50, DART75 и версию без прунинга в open-loop и closed-loop экспериментах.
- Прогнать инференс и оценку в AlpaSim на клипах PhysicalAI-AV по скриптам из репозитория.
- Использовать как готовый пример дистилляции 10B VLA-учителя в компактную 4B-модель.
- Проверить, как модель строит траекторию и Chain-of-Causation в разных сценах.
Пример
model = load_ishinca("./Ishinca-4B-DART50")
processor = get_processor(model)
data = load_clip("<clip-id>", t0_us=5_100_000)
inputs = build_model_inputs(model, processor, data["image_frames"], data["camera_indices"],
data["ego_history_xyz"], data["ego_history_rot"])
with torch.autocast("cuda", dtype=torch.bfloat16):
xyz, rot, extra = model.sample_trajectories_from_data_with_vlm_rollout(
data=inputs, top_p=0.98, temperature=0.6, return_extra=True)
Подробнее
Open loop на 4 000 held-out сэмплов: ADE vs GT 1,972 м, minADE6@6,4 с — 1,003 м.Closed loop AlpaSim: score 0,776, 37 неудачных роллаутов из 300.
Железо: ~8 GiB VRAM и 1,0–1,2 с на вызов на RTX 3090; ускорение DART проявляется в compiled/TensorRT, не в eager PyTorch.
Ограничения: research-модель, не safety-validated; оценки без навигации; DART50 даёт незначительный тренд к большему числу at-fault collisions.










Комментарии