Gemma 4 E2B · Refauna (PT-BR)

Gemma 4 E2B · Refauna (PT-BR) — 16-битный LoRA от iamrodrigocoelho на базе google/gemma-4-e2b-it. Модель отвечает на вопросы о дефаунации, рефаунации, реинтродукции животных, распространении семян и сохранении Мата-Атлантики на бразильском португальском, опираясь на научные статьи Refauna. Сделана для доклада о малых моделях, файнтюнинге и RAG.

➖ Ключевые особенности

• 🔤 LoRA 16-bit: r=16, alpha=16, 2 эпохи, lr=0.0002, только языковые слои, шаблон gemma-4 без thinking.
• 1⃣ Обучение на 942 синтетических примерах PT-BR из 22 статей в стиле RAFT: ~60% с контекстом и цитатами, ~15% abstenção, ~25% без контекста; выборочная человеческая проверка и split по документам.
• ➕ Рассчитана на RAG: получает нумерованные фрагменты и цитирует [n]; в RAG использованы google/embeddinggemma-300m + BM25 с fusion RRF, top-4.
• ▶ Обучение заняло 23.9 мин на NVIDIA L4, пик VRAM — 12.45 GB.

2⃣ Пример

from transformers import pipeline
pipe = pipeline("text-generation", model="iamrodrigocoelho/gemma-4-e2b-refauna-lora16")

Подробнее

Оценка LLM-судьи (1–5): FT+RAG — коррекция 2.34, fidelidade 4.21; citation_correta 0.52, abstencao_correta 0.88.
Гибридный поиск: Recall@4 = 0.42, MRR@20 = 0.30.
Обучение: NVIDIA L4, 23.9 мин, пик 12.45 GB VRAM.
Ограничения: учебный и научно-популярный сценарий, не заменяет оригинальные статьи; без RAG возможны ошибки в числах, датах и названиях видов.