Zikrify Islamic Assistant (Gemma 4 E2B)

Небольшая текстовая модель на базе google/gemma-4-E2B-it-qat-q4_0-unquantized от автора abduhifz. Отвечает на вопросы об исламе по переданным отрывкам из Корана, хадисов и тафсира, цитируя источники номерами вроде [1] или [2]. Языки: английский, урду, Roman Urdu и арабский.

📝 Ключевые особенности

• 📝 Не хранит Коран и сборники хадисов: приложение само ищет отрывки и передаёт их в промпт; без источников модель отвечает слабее и предупреждает об этом.
• ⌨ Умеет помогать поиску: по вопросу возвращает короткий JSON со словами на английском и арабском для библиотеки.
• 📞 Готовый файл .litertlm на 2.86 ГБ для LiteRT-LM на Android, iOS и desktop; только текст, 4-bit.
• 👍 LoRA-адаптер на 97 МБ для transformers и PEFT — можно дообучать или собрать свой .litertlm.
• 🤝 Лицензия Apache-2.0: можно бесплатно использовать в своих приложениях и проектах.

⌨ Пример

import litert_lm
from prompts import SYSTEM, answer_prompt
MODEL_PATH = "zikrify-gemma-4-E2B-it.litertlm"
with litert_lm.Engine(MODEL_PATH, backend=litert_lm.Backend.CPU(), max_num_tokens=4096) as engine:
    with engine.create_conversation(system_message=SYSTEM, sampler_config=litert_lm.SamplerConfig(top_k=40, top_p=0.9, temperature=0.4)) as conv:
        reply = conv.send_message(answer_prompt(question, sources, language="urdu"), max_output_tokens=1200)
        print(reply["content"][0]["text"])

Подробнее

Валидационный loss: 2.33 → 1.43; при имитации 4-bit весов — 1.54.
LoRA rank 16, alpha 32; обучение на одном RTX 4090.
Нужен 64-битный ARM-телефон, Android 11+ и около 6 ГБ RAM; работает только на CPU — GPU-бэкенд LiteRT падает при загрузке.
Маленькая 4-bit модель может путать детали и повторяться; не для фетв.