Orchestrator v1.5 Non Superapp

Портативная языковая модель для повседневных запросов, кодинга, работы с переданными материалами и агентных workflow с инструментами. Это dense text-only derivative на 7,46 млрд параметров на базе Gemma 4 E4B и адаптеров Kira; работает независимо от Kira Superapp.

🔤 Ключевые особенности

• ➕ Переносит обученные обновления из control, browser, MCP, coding и presentation-путей в стандартную Gemma 4 text-архитектуру.
• 🔜 Подходит для follow-up-запросов, grounded-суммаризации по предоставленным материалам, помощи с кодом и выбора следующего инструмента.
• ➖ Dense text-only derivative: 7 463 013 418 параметров, статический merge адаптеров без нового обучения; routing исходной MoE приближается, но не воспроизводится точно.
• 3⃣ Доступны Safetensors, GGUF Q4_K_M и MLX 4-bit; стандартная загрузка без patched llama.cpp и кастомного загрузчика.
• 4⃣ Только английский; браузер, MCP-подключения, credentials и выполнение инструментов обеспечивает host-приложение.

1⃣ Пример

from transformers import AutoTokenizer, AutoModelForCausalLM

repo = 'saggamer/orchestrator-v1.5-non-superapp'
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=False)
model = AutoModelForCausalLM.from_pretrained(repo, dtype='auto', trust_remote_code=False)
prompt = tokenizer.apply_chat_template([{'role': 'user', 'content': 'Help me plan a research task.'}], tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tokenizer(prompt, return_tensors='pt', add_special_tokens=False)
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(tokenizer.decode(outputs[0, inputs.input_ids.shape[-1]:], skip_special_tokens=True))

Подробнее

FP16-веса занимают около 14,93 ГБ; в локальных проверках использовался ноутбук Apple M4 с 24 ГБ.
Совместимость проверена в Transformers 5.22.2, MLX-LM 0.32.0, llama.cpp, Ollama 0.40.13 и LM Studio: по 3/3 функциональных теста, но это не бенчмарки производительности.
На 12 dev- и 8 held-out-фикстурах merge совпал с исходной control-моделью без регрессий в малой парной проверке.
Исходный backbone уже был квантован в MLX; экспорт в FP16 или Q8 не возвращает исходную полную точность.
Модель не включает браузер, credentials, vision/audio-энкодеры и сама не выполняет инструменты.