d1-showharness LIBERO

Набор vision-language моделей, дообученных отвечать на action-вопрос d1-showharness в среде LIBERO одним из 15 дискретных токенов: MV_* ×6, RT_* ×6, GRASP, RELEASE и DONE. Включает full fine-tune и LoRA для LiquidAI/d1-3B, а также LoRA для Qwen/Qwen3.5-2B. Данные — конфиг simplified датасета libero-discrete-tokens.

👉 Ключевые особенности

• 🐱 Семь вариантов чекпоинтов: full fine-tune, LoRA, batch 16 на одной GPU и режим action + magnitude.
• 🐾 Единая схема оценки на held-out validation split с целыми эпизодами; метрики считаются в конце каждой эпохи.
• 💪 Для d1-3B full fine-tune лучший top-1 accuracy — 0.8534, NLL — 0.4425.
• 👀 LoRA для Qwen3.5-2B даёт accuracy 0.8504 и NLL 0.4417.
• 💸 Лицензии наследуются от базовых моделей: LFM Open License v1.0 для d1-3B и Apache-2.0 для Qwen3.5-2B.

💪 Пример

import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
from transformers import AutoModel
model = AutoModel.from_pretrained("LiquidAI/d1-3B", revision="051bcc464b01b9f92942b364d9586b0ef5912432", trust_remote_code=True, dtype=torch.float32).cuda()
sd = load_file(hf_hub_download("hmkang/d1sh-libero-simple", "d1-3b-full/epoch3/weights.safetensors"))
missing, unexpected = model.load_state_dict(sd, strict=False)
assert not unexpected

Подробнее

Рекомендуемый чекпоинт — эпоха с минимальным NLL: для d1-3b-full это epoch3.
Поздние эпохи иногда дают чуть выше top-1, но NLL растёт из-за переуверенности.
Запускать под torch.autocast('cuda', dtype=torch.bfloat16), как при обучении.
LoRA-папки грузятся через PeftModel.from_pretrained(base, repo, subfolder="<folder>/epoch<k>").