Orbit-4-Gemma-E4B-it

Orbit-4-Gemma-E4B-it — LLM от OpenPathAI, дообученная с google/gemma-3n-E4B-it для лучшего понимания индонезийского языка. Размер — 7,82 млрд параметров; архитектура Gemma 3n сохраняет мультимодальные возможности, но тюнинг шёл только по текстовым слоям.

✨ Ключевые особенности

• 📚 Дообучение на крупном индонезийском instruction-датасете AksaraLLM: 1 полная эпоха, около 29 807 шагов.
• 💻 LoRA r=16, alpha=16; целевые модули q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.
• 🌎 Понимает сложные многошаговые инструкции и локальный контекст Индонезии: историю, культуру, географию, бытовые темы.
• ✨ Генерирует естественный индонезийский текст: объяснения, summaries, нарративы, puisi/pantun и короткие рассказы; также перевод ID↔EN, sentiment analysis и базовая математика.
• 🐱 Мультимодальный каркас (текст, изображение, аудио, видео → текст) сохранён, но в этом файнтюне не усиливался.

📖 Пример

Модель использует Gemma 3n chat template:

<bos><start_of_turn>user
{instruction}<end_of_turn>
<start_of_turn>model
{output}<end_of_turn>

Подробнее

Обучение: LoRA r=16, 1 эпоха (~29 807 шагов), effective batch size 4, lr 2e-4, max sequence length 2048, adamw_8bit, Tesla T4 16GB, Unsloth/TRL/Transformers.
Ограничения: оптимизирована под индонезийский; мультимодальность не проверялась и не усиливалась; возможны галлюцинации; нет дополнительного safety-тюнинга; контекст — 2048 токенов.
Лицензия Gemma; коммерческое использование по Gemma Terms of Use.