Gemma 4 12B SOMPOA Heresy LoRA

Это LoRA-адаптер от MuXodious для google/gemma-4-12B-it, сделанный через Heretic v2.2.0.dev0. Базовая модель — 12B Unified из семейства Gemma 4: encoder-free мультимодальная LLM с текстом, изображениями и аудио на входе и контекстом до 256K токенов.

🤔 Ключевые особенности

• 😏 Decensored-адаптер: снижает число отказов при небольшом KL divergence относительно базовой модели.
• 🙅‍♂ Отказы: 11/101 у этой версии против 101/101 у оригинала.
• 📝 KL divergence — 0.0639; в карточке также приведены SOMPOA-параметры, включая direction_index 26.71.
• 🤝 Ставится поверх google/gemma-4-12B-it; отдельного кода загрузки LoRA в карточке нет.
• 🗣 База понимает текст, изображения и аудио, поддерживает до 256K токенов контекста.

😎 Пример

Сценарий: промпт, на который базовая Gemma 4 12B отвечает отказом, этот LoRA обрабатывает заметно чаще — в замере 11 отказов из 101 против 101 из 101 у оригинала. Для запуска нужна базовая модель google/gemma-4-12B-it и загрузка адаптера.

Подробнее

Отказы: 11/101 против 101/101 у оригинала.
KL divergence: 0.0639.
SOMPOA direction_index: 26.71.
Нужна базовая google/gemma-4-12B-it; адаптер не заменяет её.
Оценка только по отказам и KL — других бенчмарков в карточке нет.