BLIP3-o MMDiT alignment

Набор из шести тренировочных чекпоинтов (шаг 60 000) для одной и той же text-to-image модели на архитектуре MMDiT с разрешением 256×256, обученной ��а подмножестве BLIP3-o subset-1.28m. Автор сравнивает варианты alignment-подхода: обычный baseline, DINOv2 REPA, VLM REPA и их комбинации. Текстовая/VLM-основа — Qwen/Qwen3-VL-2B-Instruct.

🧐 Ключевые особенности

• 🧪 Шесть конфигураций: plain-mmdit, repa (DINOv2, блок 8), vlmrepa, residual-смесь DINOv2 + VLM REPA с весом 0.5, а также два варианта text REPA (в финальном блоке и в блоке 8).
• 📉 Лучший loss из шести — у repa: 0.6925 против 0.7274 у baseline; чистый VLM REPA дал 0.7416.
• 🖼 Общее обучение: 256×256, WebDataset, global batch size 256, BF16, FSDP на 4 GPU.
• 💾 В каждой папке лежит step-060000.pt — полный PyTorch-чекпоинт, который может содержать не только веса, но и состояние оптимизатора.
• ⏳ Цель обучения — 100 000 шагов, здесь выложены промежуточные 60 000 (конец 11-й эпохи, граница 12-й).

🫡 Пример

Сценарий из карточки: взять один и тот же step-060000.pt из папок plain-mmdit и repa и сравнить, как DINOv2 REPA на блоке 8 меняет поведение модели при одинаковом бюджете в 60k шагов — по loss и по картинкам 256×256. Готового кода инференса в репозитории нет, файлы рассчитаны на продолжение обучения.

Подробнее

Loss на шаге 60k: repa — 0.6925, repa-vlmrepa-residual-0.5 — 0.7241, plain-mmdit — 0.7274, vlmrepa — 0.7416.
Два варианта с text REPA оказались хуже baseline: 0.7656 (финальный блок) и 0.7566 (блок 8).
Железо: FSDP на 4 GPU, BF16; параметры модели и требования к VRAM в карточке не указаны.
Ограничения: только тренировочные чекпоинты без кода запуска, разрешение фиксировано на 256×256.