FastVLA Turbo
арабская VLA-модель для роботов на бюджетной T4
1 мин чтенияобновлено
FastVLA Turbo — 7B-модель Vision-Language-Action для робототехники от hamzabouajila. Заявлена как первая арабская Physical AI модель: понимает арабские команды и предсказывает непрерывные траектории действий по мультикамерному видео. Использует 16-шаговый continuous Flow-Matching (112 DoF) и 2x2 Spatial Token Compression.
Ключевые особенности
- Сжимает визуальные токены с 512 до 128 (−75%) за счёт 2x2 Spatial Patch Merging.
- Генерирует 16-шаговые непрерывные action chunks: 16 × 7 = 112 continuous DoF.
- По бенчмарку на NVIDIA Tesla T4 (16GB): latency 1 868.4 → 993.4 ms, peak VRAM 9.40 → 6.19 GB.
- Дообучена на арабском LIBERO-10 multi-view датасете с многоэтапными командами.
- Zero-compute vision caching: 428M SigLIP-So400M признаки считаются заранее, ViT не занимает VRAM при обучении.
Пример
import torch
from PIL import Image
from transformers import AutoTokenizer
repo_id = "hamzabouajila/fastvla-turbo-arabic-libero"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
img_agent = Image.open("agent_view.jpg")
img_wrist = Image.open("wrist_view.jpg")
arabic_command = "أطفئ الفرن ووضع وعاء الموكا عليه."
Подробнее
На T4: визуальные токены 512 → 128 (−75%), LLM-последовательность 544 → 176 (−67.6%), latency 1 868.4 → 993.4 ms (1.88× быстрее).Peak VRAM: 9.40 → 6.19 GB (−44.6%), throughput 0.54 → 1.01 step/s.
Заявлена работа на T4 / Google Colab / Kaggle; при обучении ViT выгружается из GPU VRAM.










Комментарии