Gemma-4-12B-Aether

Это merged bf16-версия LoRA-файнтюна google/gemma-4-12B-it от emkey1: 11,96B параметров, адаптер уже вложен в базовые веса. Модель пишет программы на Aether — небольшом статически типизированном языке с эффектами, контрактами, массивами, map и JSON/TOON API. Нужна, когда старшие модели не влезают: int8-версия занимает 12 ГБ.

⚙ Ключевые особенности

• 🎯 Обучена писать Aether без языкового гайда в промпте: знания вложены в веса, а не в 14K-токенный контекст.
• 🧩 Понимает эффекты fx { }, контракты @pre/@post, records, массивы и 2-D массивы, Map[Text, T], JSON/TOON.
• 🫡 Режим работы — thinking off и без system message; для Ollama используйте reasoning_effort: none или think: false, для vLLM — enable_thinking: false.
• 🛑 Это узкий специалист: Python и, вероятно, другие языки сильно деградируют; для не-Aether задач берите базовую модель.
• 🧊 Не квантуйте ниже 8 бит: 4-битные варианты заметно хуже по бенчмаркам.

💡 Пример

vllm serve emkey1/Gemma-4-12B-Aether --max-model-len 32768

В запросах к vLLM передавайте chat_template_kwargs={"enable_thinking": false}. Для Ollama в OpenAI-совместимом /v1 — "reasoning_effort": "none", в native /api/chat — "think": false.

Подробнее

Бенчмарки: main total — 67/73 (69 после repair), 92% у bf16; int8 — 65/73 (70), 89%. Held-out: 30/53 (36), 57% у bf16; int8 — 28/53 (36), 53%. База без гайда — 0/73 (4).
Память: int8-модель 12 ГБ; Ollama сообщал 15 ГБ загруженных и 21 ГБ в конце полного scoring pass при контексте 32K.
Ограничения: Aether 1.0 только; небольшие self-contained программы; ошибки вывода чаще, чем у старших sibling’ов; dense 12B медленнее — около 20 tok/s против 85 tok/s у 35B MoE sibling на том же Mac. Python: 58/126 (79) против 109/126 (125) у базы.