Gemma-3-4B MLLMU-FT

Это полный файнтюн google/gemma-3-4b-it от Lordvarun23 на QA-парах всех 500 фиктивных профилей из MLLMU-Bench. Модель на 4.3 млрд параметров предназначена для image-text-to-text и служит стартовой точкой для unlearned-чекпоинтов. Обучение включало не только языковую часть, но и vision tower.

⚙ Ключевые особенности

• 🧩 Full fine-tune, включая vision tower.
• 🎯 Loss считается только по токенам ответа.
• ⚙ 5 эпох, learning rate 2e-5 с cosine schedule и 3% warm-up, batch size 16.
• 🏆 На English Generation вопросах accuracy, оценённая Qwen3-32B: 0.46 на forget_5 и 0.47 на retain.
• 🌐 Язык — только английский; это исследовательский артефакт под конкретный бенчмарк.

💡 Пример

Сценарий из карточки: модель отвечает на English Generation вопросы по фиктивным профилям MLLMU-Bench, а качество ответов оценивает Qwen3-32B. Для базовой Gemma-3-4B-it точность в той же таблице составляет 0.03 и 0.06 соответственно.

Подробнее

Бенчмарк: 100 вопросов forget_5 и 200 вопросов от 50 retain-профилей.
Fine-tuned: 0.46 / 0.47; retain-only: 0.17 / 0.66; GradDiff: 0.35 / 0.45; KL-Min: 0.26 / 0.37; NPO: 0.07 / 0.41.
Обучение: AdamW, weight decay 0, grad clip 1.0, fp32 weights + bf16 autocast, сохранение в bf16, seed 42.
Требования к VRAM в карточке не указаны.