adaption_engineer_agent_decisions
LoRA для Gemma 4 31B под инженерные решения
1 min read
Это LoRA-адаптер для google/gemma-4-31B-it, обученный через SFT в Adaption AutoScientist на датасете engineer_agent_decisions. Данные — в chat-формате, язык — английский; адаптер нацелен на сценарии принятия решений инженерным агентом.
Ключевые особенности
- LoRA поверх Gemma 4 31B:
r=32,alpha=64, dropout 0.05. - SFT на 13 038 строках в chat-формате, 3 эпохи.
- Обучение через Adaption AutoScientist; learning rate 1e-4, cosine scheduler.
- В данных преобладают technology (47%) и medical (11%); academic-education — 5%.
- В карточке указан general win rate 64% против базовой модели.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
from peft import PeftModel
BASE = "google/gemma-4-31B-it"
ADAPTER = "tim1612/adaption_engineer_agent_decisions"
base = AutoModelForCausalLM.from_pretrained(BASE, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, ADAPTER).merge_and_unload()
pipe = pipeline("text-generation", model=model, tokenizer=AutoTokenizer.from_pretrained(BASE))
Подробнее
Win rate general против базовой модели: 64% на held-out тесте.Обучение: SFT, LoRA, 3 эпохи, lr 1e-4, cosine, r=32, alpha=64.
Данные: 13 038 строк, chat-формат, английский; technology — 47%, medical — 11%.
Требования к VRAM и ограничения в карточке не указаны.










Comments