Gemma-4-E2B-it iPhone Agent

Это zero-training адаптация google/gemma-4-E2B-it от jstarks для агентных задач на iPhone 15 Pro и 16 Pro: shell-команды, веб-поиск, fetch URL, restraint инструментов и чистое завершение хода. Модифицируются только две MLP-матрицы в слоях 26 и 34, а весь апгрейд — патч на 72 MB.

👉 Ключевые особенности

• 💪 Убирает ложные tool calls: BFCL v3 Irrelevance 93.3% → 100%, Suite E 83.3% → 100%.
• 🤫 Чистое завершение: останавливается на <tool_call|><eos> без лишней галлюцинации <|tool_response>.
• 👀 Сохраняет код и рассуждения: HumanEval 93.3%, InterCode-NL2Bash 95.0%, GSM8K 70.0%, TruthfulQA 100%.
• 🔥 Лёгкий патч: 72.00 MB, меняются только down_proj в слоях 26 и 34.
• 👈 Рассчитан на iPhone: Q4_K_M ~1.85 GB, RAM ~2.35 GB при контексте 4k, ~28 tok/s генерации.

🥰 Пример

python apply_patch.py \
    --base-model "google/gemma-4-E2B-it" \
    --patch-file "gemma4_e2b_iphone_agent_patch.safetensors" \
    --output-dir "./gemma4_e2b_iphone_agent"

Подробнее

Бенчмарки: общий established 77/85 (90.6%), 38-задачный agent suite 31/38 (81.6%); Suite C multi-step math — 25%.
Для iPhone 15 Pro: Q4_K_M 1.85 GB, Q8_0 2.65 GB; RAM ~2.35–3.15 GB.
Ограничения: язык en, контекст 4096, max output 512; патч требует базовые веса Gemma-4-E2B-it.