GRT-30M-Image

MatterWaveAI выпустила GRT-30M-Image — нативную ротационную text-to-image модель на 29 371 239 параметров. Она построена на базе grt-30m и синтезирует RGB-изображения (B, 3, 224, 224) и дискретные visual patch tokens через inverse Givens butterfly decoder.

⚙ Ключевые особенности

• 🧊 Всего 29,37M параметров и 0 nn.Linear, 0 nn.Conv2d.
• 🧬 Текстовый backbone GRTModel + GRTCosineHead (29 305 498 параметров) заморожен, чтобы сохранить текстовую fluency.
• 🎯 Выход: RGB-тензор (B, 3, 224, 224) и 4-codebook visual patch tokens.
• 🔬 Декодер GRTPolarImageDecoderHead: 15-stage Givens butterfly expand/contract и 11-stage inverse patch cascade.
• 📀 Для оценки используется visual RVQ bank: 4 codebook по K=64 записи × 128 пар.

💡 Пример

from transformers import AutoTokenizer, GRTImageForConditionalGeneration
model_id = 'MatterWaveAI/grt-30m-image'
tok = AutoTokenizer.from_pretrained(model_id)
model = GRTImageForConditionalGeneration.from_pretrained(model_id)
prompt = '<|im_start|>user\nGenerate image (color=gold, shape=ring, layout=center)<|im_end|>\n<|im_start|>assistant\n'
out = model(**tok(prompt, return_tensors='pt', add_special_tokens=False))
print(out.pixel_values.shape)  # (1, 3, 224, 224)

Подробнее

Held-Out Visual RVQ PPL: 16.98 после alignment — в 4.78× меньше.
RVQ Mean Top-1 Accuracy по 4 codebook: 25.19% — в 16.1× выше случайного уровня.
PSNR 19.14 dB, spectral SNR +2.31 dB.
Лучшим в ablation 8 оптимизаторов на Intel Arc 140T XPU стал HuygensAdam (200 шагов, batch_size=36).
Оценка — на процедурном наборе из 144 концептов (6 цветов × 6 фигур × 4 layout).