Gemma-4-31B-it-nl-lora
нидерландский LoRA-адаптер
1 min read
Это LoRA-адаптер от MeerDevelopment для google/gemma-4-31B-it, обученный примерно на 14 400 синтетических примерах нидерландских задач. Он улучшает понимание прочитанного, NER, оценку грамматичности, переписывание на простой язык B1 и локальные знания по EuroEval. Размер базовой модели — 31B, адаптер имеет rank 32.
Ключевые особенности
- SQuAD-nl F1 растёт с 79,70 до 86,08, CoNLL-nl micro F1 — с 79,43 до 84,72.
- Dutch CoLA MCC +2,00, Duidelijke Taal METEOR +3,81, MultiLoKo-nl MCC +3,08.
- Есть регрессия на WikiLingua-nl: chrF3++ падает с 33,86 до 27,57 из-за более коротких summary.
- LoRA rank 32, alpha 32, dropout 0; обучение на всех linear-слоях языковой модели, vision tower не трогали.
- Обучение: QLoRA на
unsloth/gemma-4-31B-it-unsloth-bnb-4bit, 1 эпоха, 902 шага, одна RTX 3090 24 GB за 9,2 часа.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("google/gemma-4-31B-it", device_map="auto", torch_dtype="auto")
model = PeftModel.from_pretrained(base, "MeerDevelopment/gemma-4-31B-it-nl-lora")
tok = AutoTokenizer.from_pretrained("google/gemma-4-31B-it")
Подробнее
EuroEval: средний балл 62,09 → 63,87 (+1,78); лучше на 5 датасетах, ничья на 3, хуже на 1.Железо: обучение на одной RTX 3090 24 GB, 9,2 часа; оценка на int4-квантовании
Intel/gemma-4-31B-it-int4-AutoRound.Ограничения: короткие summary по умолчанию; адаптер в основном учит форматы задач и нидерландские конвенции, почти не добавляет мировых знаний; данные в значительной степени машинно-сгенерированы.










Comments