PhyRubric-Judge-32B
модель-судья для оценки физики в сгенерированных видео
2 мин чтенияобновлено
PhyRubric-Judge-32B — это LoRA (небольшой обучаемый адаптер поверх базовой нейросети), созданный автором kittyhy на базе мультимодальной модели Qwen/Qwen3-VL-32B-Instruct. Модель работает как автоматический оценщик качества видеогенерации: на вход она получает текстовый промпт и 16 равномерно выбранных кадров из ролика, а на выходе выдает структурированный JSON с оценками соответствия описанию, физической правдоподобности и текстовым разбором с таймкодами. В отличие от младшей версии на 8B параметров, эта сборка опирается на более крупную базовую модель и точнее совпадает с оценками людей. Инструмент пригодится разработчикам моделей генерации видео и исследователям для автоматической фильтрации и бенчмаркинга роликов.
Ключевые особенности
- Оценка по двум критериям: выставляет баллы от 1 до 5 за семантическое соответствие промпту (
sa_score) и здравый физический смысл происходящего (pc_score). - Проверка наличия события: отдельный флаг
pc_assessableпоказывает, появилось ли вообще ключевое физическое действие из запроса в кадре. - Аргументация с таймкодами: вместе с числовыми метриками модель генерирует поле
reasonс объяснением ошибок или корректности физики. - Обучение на реальных ошибках генераторов: адаптер (rank 16, alpha 32) дообучен на датасете PhyRubric-Train из 3 788 клипов от четырёх разных видеогенераторов без передачи самой рубрики оценки в промпт.
Что можно сделать
- Автоматизировать оценку генераторов видео: прогонять тестовые выборки новых моделей и сравнивать, насколько точно они соблюдают законы физики и следуют тексту.
- Фильтровать синтетические датасеты: отбирать наиболее реалистичные сгенерированные ролики по порогам
sa_scoreиpc_scoreперед дальнейшим обучением. - Воспроизвести бенчмарк PhyRubric-Bench: использовать адаптер вместе со скриптами из репозитория автора для замера метрик на 2 433 видео.
Пример
hf download kittyhy/PhyRubric-Judge-32B --local-dir models/PhyRubric-Judge-32B
CKPT=models/PhyRubric-Judge-32B RUN=judge bash scripts/infer.shПодробнее
Метрики на PhyRubric-Bench (2 433 видео, корреляция с людьми): SA Pearson — 0.66, SA AUC — 0.87, PC Pearson — 0.35, PC AUC — 0.69 (выше версии на 8B).Требования к железу: для инференса в формате
bf16 требуется около 70 ГБ видеопамяти (VRAM).Параметры входа: 16 кадров с разрешением не выше 448×448 пикселей (
FPS=24), запуск через фреймворк ms-swift.Обучение: 2 эпохи (900 шагов) на одной NVIDIA GH200 заняли 4,6 часа и 70 GiB памяти.










Комментарии