SD3.5 Medium TSD multi-reward

Это LoRA-адаптер для stabilityai/stable-diffusion-3.5-medium от sjy090520, а не полная модель. Чекпоинт geneval-ocr-1to1/checkpoint-300 продолжает ветку с checkpoint 280 ещё 20 обновлениями на GenEval- и OCR-промптах в пропорции 1:1; активны пять reward-целей: PickScore, HPSv2, CLIPScore, GenEval и OCR.

⚙ Ключевые особенности

• ⚙ LoRA rank 32 / alpha 64 для трансформера SD3; в каталоге lora лежат веса и конфиг PEFT.
• 🎯 Пять reward-целей сразу: PickScore, HPSv2, CLIPScore, GenEval и OCR; специализированные reward применяются только к совместимым сэмплам.
• 🧬 TSD-градиенты по reward-целям комбинируются через exact per-round normalized MGDA; подход вдохновлён MARBLE, но не воспроизводит официальный amortized NFT.
• 🔬 Обучение: 10 sampling steps, CFG 1, uniform K8, pm3 endpoint fusion с norm cap, uniform velocity loss, seed 0.
• 🛑 Это экспериментальный чекпоинт: наблюдались лишний текст, повторы визуальных стилей и композиционные ошибки; качество на отложенной выборке не заявлено.

💡 Пример

Сценарий из карточки: подключить LoRA к stabilityai/stable-diffusion-3.5-medium и прогнать промпты с текстом на изображении и проверкой композиции. В обучении использовались GenEval- и OCR-промпты в пропорции 1:1.