abc-dit-lego-three-all-ft
файнтюн робототехнической модели для сортировки Lego
2 мин чтенияобновлено
Модель представляет собой файнтюн (дообучение) базового чекпоинта ABC-DiT XL 200k, разработанный пользователем edisonz2103 для задач робототехники. Она обучена на 92 симуляционных эпизодах сортировки блоков Lego (задача lego_blocks_sorting, промпт "lego blocks sorting") из датасета abc-agent-lego. На вход система принимает видеопоток с трёх камер (верхней, левой и правой) и текущие состояния 14 суставов робота, а на выходе предсказывает 14 управляющих команд для приводов. В отличие от предыдущего тестового прогона на 20 эпизодах, этот релиз объединяет все четыре сгенерированных набора данных, что даёт более стабильное снижение ошибки на валидации. Пригодится исследователям и разработчикам в области робототехники, работающим с архитектурой ABC-DiT и имитационным обучением в симуляторах.
Ключевые особенности
- Объединённый датасет: обучение прошло на 101 865 рабочих кадрах из наборов
lego_three_fixed,lego_three_gen20,lego_three_gen30иlego_three_gen50. - Трёхкамерный ввод: работает со склеенным видеопотоком разрешением 224×504 пикселей с частотой 30 Гц и вектором из 14 измеренных и 14 целевых положений суставов.
- Готовые чекпоинты и логи: в репозитории доступны веса каждые 1000 шагов (около 8 ГБ каждый), полный чекпоинт с состоянием оптимизатора (24 ГБ), кривые обучения и SLURM-скрипт.
- Потенциал для дообучения: ошибка на валидации (
val_loss) плавно снижалась до самого 4000-го шага, поэтому модель ещё не переобучилась и подходит для дальнейшего обучения.
Что можно сделать
- Запустить инференс и протестировать качество сортировки блоков Lego в симуляционной среде репозитория
edisonzhu2006/abc. - Продолжить обучение с 4000-го шага с помощью полного чекпоинта
abc_dit_lego_three_all_4000_full.ptи флага--resume-from. - Использовать весовые чекпоинты (
abc_dit_lego_three_all_4000.pt) как отправную точку для дообучения на других задачах манипуляции с объектами черезabc_minimal.dit.load_pretrained.
Пример
uv run train.py --load-pretrained --pretrained-ckpt-name abc_dit_lego_three_all_4000.pt \
--mixture-preset sim_task --train-steps 4000 --batch-size 90
Подробнее
Метрики на финальном 4000-м шаге: train loss — 0.0348, val_loss — 0.0518, val_recon_error — 0.1237.Железо и время: обучение заняло 50 минут 46 секунд на одной видеокарте NVIDIA A100-SXM4-80GB (пиковое потребление VRAM — 63.6 GiB).
Детали обучения: 4000 шагов (~3.4 эпохи), batch size 90, оптимизатор AdamW (lr 1e-4 с линейным прогревом 1000 шагов), статистика нормализации унаследована от базовой модели.
Ограничения и лицензия: оценка модели непосредственно в симуляторе автором пока не проводилась; веса наследуют лицензию Apache-2.0 от ABC-DiT XL 200k с учётом ограничений визуального энкодера DINOv3.










Комментарии