Gemma 4 31B ARA Heretic r8

LoRAForge опубликовала rank-8 LoRA-адаптер для google/gemma-4-31B-it. Это не оригинальный адаптер, а сжатая реконструкция дельты опубликованного чекпоинта richardyoung/gemma-4-31B-it-ARA-heretic: сохранены все 70 изменённых линейных матриц. Базовая модель мультимодальная, но проверка в карточке — только текст.

🔍 Ключевые особенности

• 🔄 Rank 8 для всех 70 изменённых линейных матриц; эффективный LoRA scaling — 1.
• 💎 Факторы хранятся в FP32, без zero padding; alpha/r сохранён при нативном экспорте.
• 📊 Захвачено 99,9215% энергии линейных изменений; относительная Frobenius-ошибка — 2,8017%.
• 🖥 Проверено с Transformers 5.22.1, PEFT 0.21.2 и PyTorch 2.11.0+cu130 на NVIDIA H100 NVL.
• ⚠ Нужны полные веса базовой модели: адаптер не уменьшает число параметров Gemma 4 31B.
• 🔒 Лицензия не «чистый Apache»: условия upstream и OpenRAIL++ сохранены в LICENSES.md.

📝 Пример

import torch
from transformers import AutoModelForImageTextToText
from peft import PeftModel

base = AutoModelForImageTextToText.from_pretrained(
    'google/gemma-4-31B-it', dtype=torch.bfloat16, device_map='auto'
)
model = PeftModel.from_pretrained(base, 'loraforge/gemma-4-31b-it-ara-heretic-r8').eval()

Подробнее

📊 Энергия: 99,9215%, минимум по матрице — 99,6877%; Frobenius-ошибка — 2,8017%.
🖥 Тестировали на H100 NVL; нужны Transformers 5.22.1, PEFT 0.21.2, PyTorch 2.11.0+cu130.
⚠ Валидация — 4 коротких benign-промпта, это проверка загрузки, а не бенчмарк способностей или отказов.
🔒 Релиз не помечен как pure Apache; читайте LICENSES.md, LICENSE и LICENSE_OpenRAIL++.md.