FLUX 3 Action (RoboTwin 2.0)
управление двуруким роботом на базе FLUX
2 min readupdated
Файнтюн модели black-forest-labs/flux-3-action-base (6.95B параметров), обученный управлять двуруким роботом aloha_agilex сразу в 50 задачах симулятора RoboTwin 2.0. На вход модель получает потоки с трёх камер (головной и двух наручных), текущее состояние суставов и текстовую инструкцию, а на выходе предсказывает последовательность из 32 абсолютных позиций для 14 степеней свободы (по 7 на каждую руку, включая захваты). На одинаковом объёме обучающих данных модель заметно превосходит GR00T N1.7 по точности выполнения задач в сложных и зашумлённых сценах. Подойдёт исследователям робототехники и разработчикам VLA-моделей (Vision-Language-Action — моделей, связывающих зрение, текст и физические действия).
Ключевые особенности
- Управление двумя руками: предсказывает 14-мерные абсолютные позиции суставов с частотой 15 fps пакетами по 32 действия за один вызов.
- Мультикамерное восприятие: работает с тремя ракурсами (
images.high,images.left_wrist,images.right_wrist) на холсте 544×736 пикселей. - Сильный прирост над GR00T N1.7: на выборке mix200 набирает 75.6% против 45.3% у конкурента в рандомизированных сценах.
- Открытый пайплайн воспроизведения: автор выложил код обучения, оценки и адаптер для запуска в RoboTwin на GitHub.
Что можно сделать
- Протестировать в симуляторе RoboTwin 2.0: запустить оценку на 50 задачах манипуляции предметами через скрипт
flux3/eval.shи адаптер XPolicyLab. - Использовать как базу для дообучения: адаптировать весовые коэффициенты DiT и голов действий под собственные сценарии двуруких манипуляторов формата ALOHA.
- Сравнить архитектуры VLA-политик: провести бенчмарк диффузионного подхода FLUX 3 Action против других моделей управления роботами на одних и тех же сидах.
Пример
from flux_action.policy import FluxActionPolicy
policy = FluxActionPolicy.from_pretrained(
"gargrohin/flux3-action-robotwin-aloha-mix200",
device="cuda"
)
Подробнее
Бенчмарки RoboTwin 2.0 (50 задач): 75.6% на 1015 рандомизированных сценах (против 45.3% у GR00T N1.7) и 77.8% на 499 чистых сценах (против 45.5% у GR00T N1.7).Обучение: 12 500 эпизодов (по 50 чистых и 200 рандомизированных на задачу), 9 000 шагов с batch size 512, итоговые веса EMA в формате bf16.
Ограничения: в репозитории нет замороженных video VAE и text encoder — для загрузки нужен доступ к закрытому репозиторию
black-forest-labs/flux-3-action-base (ревизия 99bc185b).Лицензия: FLUX Kommunity License (только некоммерческое использование).










Comments