DiT-Reward-Qwen-Image
оценка качества картинок по промпту
2 min readupdated
Модель оценивает, насколько сгенерированное изображение соответствует текстовому описанию и визуальным предпочтениям, выдавая на выходе одно число (скалярный скор). Это не генератор картинок, а reward-модель (модель вознаграждения) для автоматической проверки и ранжирования результатов. Построена на базе Qwen/Qwen-Image размером 28.87B параметров и выпущена анонимными авторами для научной публикации (Submission 7366). В отличие от самой базы, она извлекает признаки из внутренних блоков трансформера и прогоняет их через специальную голову оценки. Пригодится разработчикам, которые фильтруют датасеты, отбирают лучшие генерации или настраивают RLHF (обучение с подкреплением на основе предпочтений).
Ключевые особенности
- Полностью автономный релиз: в репозиторий включены все веса трансформера, VAE, текстового энкодера Qwen и токенизатора — докачивать базовую модель не нужно.
- Работает с внутренними признаками: извлекает фичи из блоков
[29, 39, 49, 59]с коэффициентом шума flow-matching 0.005 и пропускает через MLP (1536 → 384 → 1). - Веса получены линейным слиянием (linear_parameter_interpolation_fp32_3way) трёх чекпоинтов с шагов 13400, 14000 и 13800 в пропорции 0.5 / 0.4 / 0.1.
- Встроена проверка целостности: скрипт отклоняет битые чекпоинты и поддерживает сверку SHA-256 хэшей через флаг
--verify-hashes.
Что можно сделать
- Автоматически отбирать лучшие варианты при пакетной генерации изображений под заданный промпт.
- Фильтровать и размечать большие парные датасеты «картинка — текст» через встроенный CLI-режим с поддержкой
--input-jsonl. - Использовать как функцию вознаграждения при дообучении собственных генеративных моделей.
Пример
import torch
from inference import DiTReward
torch.manual_seed(0)
model = DiTReward(".", device="cuda")
scores = model.score(["example.png"], ["A red bicycle next to a tree."], batch_size=1)
print(scores)
Подробнее
Размер модели: 28.87B параметров, требуется CUDA-совместимый PyTorch (рекомендуется начинать сbatch_size=1).Входное изображение приводится к размеру 512×512 (ресайз по меньшей стороне и центральный кроп), обязательно требуется текстовый промпт.
Скор калиброван только внутри самой модели — напрямую сравнивать его с цифрами других reward-моделей нельзя.
Лицензия весов: Apache-2.0 (на базе Qwen), код распространяется под MIT.










Comments