PhyRubric-Judge

PhyRubric-Judge — LoRA-адаптер на Qwen/Qwen3-VL-8B-Instruct от автора kittyhy. Он оценивает видеоклипы по описанию: показывает ли клип заявленное событие и соблюдается ли бытовая физика. Обучен на PhyRubric-Train — 3 788 клипах от четырёх видеогенераторов.

🧩 Ключевые особенности

• 🧩 LoRA r=16 на все линейные слои языковой модели; база — Qwen3-VL-8B-Instruct.
• 🎯 На входе описание и 16 равномерно взятых кадров; на выходе JSON с sa_score, pc_assessable, pc_score и reason.
• 📐 sa_score — semantic adherence (1–5), pc_score — physical commonsense (1–5), pc_assessable — есть ли центральное физическое событие.
• 💭 reason — объяснение с таймстемпами; судья никогда не видит рубрику.
• ⚙ Обучение: 2 эпохи, lr 1e-4, LoRA alpha 32, bf16, до 16 кадров 448×448, ms-swift 4.5.

💡 Пример

Запуск из карточки: скачать адаптер и прогнать оценку PhyRubric-Bench через scripts/infer.sh.

hf download kittyhy/PhyRubric-Judge --local-dir models/PhyRubric-Judge
CKPT=models/PhyRubric-Judge RUN=judge bash scripts/infer.sh

Подробнее

Возвращает JSON с sa_score, pc_assessable, pc_score и reason.
Вход — описание и 16 кадров до 448×448; судья не видит рубрику.
Обучение: 2 эпохи, lr 1e-4, LoRA r=16/alpha=32, bf16, ms-swift 4.5.
Скрипт infer.sh оценивает PhyRubric-Bench и печатает метрики.