Gemma 4 31B W4

Это PEFT-адаптер, финальный чекпоинт завершённого обучения на базе google/gemma-4-31B-it-qat-w4a16-ct. Репозиторий содержит только LoRA-адаптер, а не слитую модель; база остаётся в упакованном W4-формате.

1⃣ Ключевые особенности

• 3⃣ База — Gemma 4 31B IT QAT W4A16 CT с закреплённой ревизией и SHA256 весов.
• 4⃣ LoRA: rank/alpha 16/16, dropout 0.05; целевые проекции attention q_proj, k_proj, v_proj, o_proj и MLP gate_proj, up_proj, down_proj.
• 5⃣ Экспорт: 820 FP32-тензоров, 489 840 816 байт. При деплое адаптер грузится нативно поверх исходной W4-базы без merge и переквантования.
• 6⃣ Обучение: 180 задач и 2 951 decision row, одна эпоха и 246 обновлений оптимизатора на трёх PRO 6000.
• 7⃣ Проверены загрузка и активация адаптера; оценка solve rate на 20 held-out и 129 Kaggle-задачах ещё идёт.

2⃣ Пример

--enable-lora --max-lora-rank 16 --lora-dtype auto
--lora-modules gemma4_w4_lora246=/absolute/path/to/this/adapter

Подробнее

Финальный training loss — 0.3582274; это training-метрика, а не solve rate.
Тестируемый runtime: vLLM 0.19.1 + Transformers 5.13.1 + compressed-tensors 0.15.0.1; совместимость с произвольным upstream не гарантируется.
Контроль W4: zero-B LoRA даёт delta 0.0 к базе, обученный адаптер — до 2.5 по raw logits на двух промптах.
Финального заявления о solve rate в релизе нет.