GAIA
открытая 4B-модель для pt-BR на базе Gemma 3
1 min read
GAIA — открытая языковая модель для бразильского португальского (pt-BR), созданная ABRIA, CEIA-UFG, Nama, Amadeus AI и Google DeepMind. За основу взята google/gemma-3-4b-pt: модель на 4,3 млрд параметров продолжительно предобучали на ~13 млрд токенов на португальском, а способность следовать инструкциям восстановили слиянием весов.
Ключевые особенности
- Целевой язык — бразильский португальский; другие языки заметно просядут.
- Continuous pre-training на корпусе ~13 млрд токенов: научные статьи и Wikipedia на португальском.
- Instruction-following восстановлен слиянием весов без классического SFT — по методике из статьи.
- На ENEM 2024 — 0.7000 против 0.6556 у
google/gemma-3-4b-it; на ENEM (General) — 0.7486 против 0.7416. - Подходит для чата, QA, суммаризации, RAG, классификации документов и дообучения под pt-BR.
Пример
Сценарий из карточки: RAG-система по корпоративной базе знаний на португальском — GAIA можно использовать как генеративную модель для ответов по найденным документам. Также модель заявлена для чатов поддержки, суммаризации и классификации документов.
Подробнее
Бенчмарки: BlueX — 0.6575 против 0.6630 у baseline; OAB — 0.4416 против 0.4502.Обучение: DGX с NVIDIA H100, 3–5 GPU, bf16, global batch size 4 млн токенов.
Ограничения: возможны галлюцинации и смещения (bias); другие языки деградируют; для критичных решений нужно человеческое наблюдение.
Требований к VRAM в карточке нет; лицензия — Gemma.










Comments