Sindhi Gemma 4 E2B IT

Инструкционная модель на базе Gemma 4 2B (3,25 млрд параметров), дообученная под синдхи (персо-арабская письменность), урду и английский. Автор сократил словарь на 50% — с 262 144 до 131 072 токенов — и удалил мультимодальные/визуальные параметры, получив текстовый бэкбон с меньшим VRAM. Дообучение выполнено на 1 500 диалогах из Sindhi-Assistant-IFT-1500.

👀 Ключевые особенности

• 💪 Прунинг словаря на 50% и удаление vision-слоёв: чекпоинт 6,51 ГБ вместо 10,20 ГБ, статический VRAM 6,06 ГБ вместо 9,51 ГБ.
• 🔥 SFT на синдхи: 380+ доменов, включая культуру, право, науку, рецепты и код.
• 👀 На UD_Sindhi-Isra UPOS zero-shot accuracy 73,00% против 66,00% у базовой Gemma.
• 💰 На Belebele snd_Arab сохраняется 45,00% — паритет с базовой моделью после прунинга.
• 🐾 Перевод EN→SD: ChrF++ 52,08 против 14,88; UR→SD: 72,63 против 52,74; суммаризация: 58,08 против 38,78.

👉 Пример

Сценарий из карточки: запрос на синдхи о культуре Аджрак или пошаговое решение задачи с ASCII-цифрами — модель отвечает на нативном синдхи без английских вставок.

Подробнее

Энергия на токен: 3,21 Дж против 4,64 Дж; активное GPU-питание: 39,43 Вт против 55,47 Вт.
Модель помещается в 8 ГБ VRAM (RTX 3070/4060), TTFT 188,10 мс, генерация 12,30 ток/с.
Обучение: LoRA r=16, alpha=32, 3 эпохи, 1 500 диалогов, NVIDIA L40S 48 ГБ, bf16, ~37,7 минуты.
Ограничение: это текстовая модель без мультимодальных возможностей; фокус — синдхи, урду и английский.