Beverage Multi-Task DiT

Это inference-экспорт политики multi_task_dit из LeRobot 0.6.1 от 2chan: около 0,28 млрд параметров, обучение 10 000 шагов только на задаче Stir the mixture in the cup with the muddler. Архитектура поддерживает несколько задач, но данный чекпоинт обучен лишь для перемешивания; это не тренировочный чекпоинт.

🧐 Ключевые особенности

• 🤖 LeRobot 0.6.1 и multi_task_dit; state и action — 12 измерений: левая рука, затем правая.
• 🧐 Исправлена нормализация левого gripper (state index 5): диапазон расширен до 100, исходное значение по-прежнему маппится в -1; веса и другие размерности не менялись.
• 👀 Вход: три RGB-камеры left_wrist, right_wrist, top по 3x480x640; история — 2 кадра.
• 👌 Выход: абсолютные целевые позиции суставов, action horizon 32, очередь — 24 шага.
• 😎 Суставы задаются в градусах, gripper — в процентной шкале; при деплое нужна та же калибровка.
• 🤔 Нужны CLIP-энкодеры и токенизатор openai/clip-vit-base-patch16.

🤩 Пример

from lerobot.policies.multi_task_dit.modeling_multi_task_dit import MultiTaskDiTPolicy
from lerobot.policies.factory import make_pre_post_processors

repo_id = "2chan/beverage-multi-task-dit-20261105-10k"
policy = MultiTaskDiTPolicy.from_pretrained(repo_id).eval()
preprocessor, postprocessor = make_pre_post_processors(
    policy.config, pretrained_path=repo_id
)
policy.reset()

Подробнее

Оффлайн-тест: возмущение gripper 0,001 меняло одну команду руки примерно на 179,77°; после ремонта — менее 0,00001°.
Нужен LeRobot 0.6.1 и CLIP-энкодеры/токенизатор openai/clip-vit-base-patch16.
Аппаратное исполнение не проверялось; ошибки трекинга остаются; это inference-экспорт, не resumable training checkpoint.