Gemma 4 E4B SinhalaMMLU

SinhalaMMLU — дообученная модель для вопросов с выбором ответа по школьной программе Шри-Ланки, 6–13 классы. Сделана из Google Gemma 4 E4B-it через reasoning distillation, merged LoRA и 50/50-интерполяцию весов с базовой моделью (WiSE-FT). В чекпоинте 7 941 100 832 параметра — это не 4B, несмотря на название E4B.

🎯 Ключевые особенности

• 🎯 Основная задача — Sinhala school-curriculum MCQs: рассуждение на английском и нумерованный финальный ответ.
• 🧬 В v2.0.0 distillation переобучен на 20 870 reasoning traces; 9 536 из них написаны closed-моделями, большинство ориентировано на 9–11 классы и Advanced Level.
• 📀 В репозитории полный merged BF16 checkpoint, tokenizer и chat template — отдельный адаптер или базовая модель не нужны.
• ⚙ Рекомендуемый режим — нативный chat template с enable_thinking=True; без reasoning качество заметно ниже.
• 🏆 Эти веса стоят за submission 08 в shared-task SinhalaMMLU; предыдущие веса доступны как revision v1.0.0.
• 🌐 Лицензия Apache 2.0, языки si и en.

💡 Пример

import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
mid = 'sinhala-mmlu/gemma-4-e4b-sinhala-mmlu'
tok = AutoTokenizer.from_pretrained(mid, revision='v2.0.0')
model = AutoModelForImageTextToText.from_pretrained(mid, revision='v2.0.0', dtype=torch.bfloat16, device_map='auto')
inputs = tok.apply_chat_template([{'role': 'user', 'content': 'Answer: <number>'}], enable_thinking=True, add_generation_prompt=True, return_dict=True, return_tensors='pt').to(model.device)
print(tok.decode(model.generate(**inputs, max_new_tokens=7168, do_sample=False)[0, inputs['input_ids'].shape[-1]:], skip_special_tokens=False))