dit_block_2
DiT-политика для перекладывания стакана
2 min readupdated
dit_block_2 — компактная модель управления роборукой (SO-10x), обученная методом имитационного обучения для одной конкретной задачи: взять стакан и поставить его в кольцо. В основе лежит архитектура Diffusion-Transformer (DiT) с алгоритмом flow matching, которая предсказывает сразу последовательность движений (chunk) на 48 кадров вперёд по картинке с одной фронтальной камеры и текущим углам моторов. Автором выступает anschrur; эта версия отличается от прошлой dit-cup переснятым чистым датасетом из 30 эпизодов, где исправили ошибку смещения угла поворота кисти (wrist_roll) на ~170°. Модель пригодится разработчикам и исследователям, работающим с недорогими манипуляторами на базе сервоприводов Feetech и фреймворком lerobot.
Ключевые особенности
- Архитектура DiT на 16,66 млн параметров (4 слоя, скрытая размерность 256) с энкодером изображений
resnet18. - Принимает кадры 480×640 с камеры
observation.images.front(сжимаются до 128×128 с кропом 0.9) и 6-мерный вектор состояния суставов. - Выдаёт последовательность из 48 действий за раз — при рабочей частоте 30 fps это соответствует 1,6 секунды плавного движения.
- Поставляется единым файлом
policy.ckpt(66,7 МБ), куда уже вшиты нормализаторы состояний и действий — без них веса не работают.
Что можно сделать
- Запустить замкнутый цикл управления (closed-loop) на реальной роборуке SO-10x с частотой 30 fps для захвата и установки стакана.
- Проверить поведение манипулятора в безопасном режиме без движения (
--dry-run) через скрипт-обвязкуdit_on_robot.pyи классDiTAgent. - Использовать чекпоинт как готовый бейзлайн для сравнения качества работы на исправленном датасете по сравнению с предыдущей версией
dit-cup.
Пример
from robot_imitation_glue.baseline.dit_agent import DiTAgent
agent = DiTAgent(
checkpoint_path="policy.ckpt",
camera_key_mapping={"front": "observation.images.front"},
state_key="observation.state",
device="cpu",
n_sampling_steps=10,
)Подробнее
Обучение: 200 эпох (41 200 шагов) на 13 218 кадрах (30 эпизодов, 30 fps), финальный train loss — 0.018505.Железо обучения: 1× RTX 5090 за 1,7 часа; инференс возможен даже на CPU за 10 шагов сэмплера Эйлера.
Ограничения: нет метрик успеха (success rate) на реальном роботе; не поддерживается стандартным
from_pretrained из lerobot.









Comments