SAMgo Glimmer run 11

Это LoRA-адаптер для проекта SAMgo, сделанный для Meta Global AI Developer Hackathon. В пайплайне SAMgo модель по фотографии собирает LEGO-модель, а этот адаптер отвечает за то, как собрать работающий механизм: получает нумерованный список деталей и общую фразу, а возвращает JSON-список правок.

⚙ Ключевые особенности

• ⚙ LoRA (PEFT) rank 32, alpha 32, BF16, на q/k/v/o и MLP-проекциях базовой Muse-Glimmer-30B.
• 🧩 На вход — список деталей и одна общая фраза вроде «add the running gear»; на выходе — JSON-правки clear, remove, set, add.
• 🔎 Если checker SAMgo отклоняет ответ, модель получает точный фидбек и исправляет ответ до 3 раундов.
• 🎯 Обучение на 15 680 строках, сгенерированных и проверенных checker’ом SAMgo; около половины — ошибка → фидбек → исправление.
• 🧬 В SAMgo Muse Spark решает, что должно двигаться, а этот LoRA — как это собрать; код проверяет отсутствие пересечений и работоспособность механизма.
• 🦾 Без имён объектов: обобщённые тела и навыки; самолёты, вертолёты, вентиляторы и турбины были held-out.

💡 Пример

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = AutoModelForCausalLM.from_pretrained('meta-models/Muse-Glimmer-30B', torch_dtype='bfloat16', device_map='auto')
model = PeftModel.from_pretrained(base, 'vvennelakanti/samgo-glimmer-lora-r11')
tok = AutoTokenizer.from_pretrained('vvennelakanti/samgo-glimmer-lora-r11')

Подробнее

Результаты: боковой ротор — 28/30 с первой попытки; вертикальный ротор — 19/30 сразу и 24/30 после фидбека; ходовая часть машин — 48/50 сразу и 50/50 после фидбека; дверные петли — 10/10.
Ранние запуски проекта давали 0/10 на дверных петлях и 0/20 на петлях для полос; run 11 — 10/10 и 15/20.
База — 30B в BF16; конкретные требования к VRAM в карточке не указаны. Рецепт: LoRA rank 32, batch 64, 2 эпохи, max sequence length 24 576.
Формат промпта, формат правок и checker описаны в репозитории SAMgo; самолёты, вертолёты, вентиляторы и турбины в обучение не входили.