Orvena-4B

Orvena-4B — языковая модель на базе Qwen3.5-4B (4,66 млрд параметров) от Orvena для приватного ассистента на iPhone. Она обучена под реальные задачи телефона: календарь, будильники, напоминания, места, веб и MCP-сервисы вроде Notion, Todoist, Airtable и Gmail. Работает в 30 языках и отвечает без отдельного thinking step.

В репозитории лежат bf16-веса с переобученной MTP-головой; 4-битная MLX-сборка для приложения вынесена отдельно.

⚙ Ключевые особенности

• 🧩 Сохраняет архитектуру Qwen3.5-4B: 24 слоя Gated DeltaNet, 8 full-attention слоёв и vision encoder.
• ⚙ LoRA rank 16, alpha 320 на всех 248 linear-слоях языковой модели; обучена одну эпоху и слита с весами.
• 🌐 30 языков; сценарии проверяют вызовы инструментов, аргументы и язык ответа.
• ⚡ Обучение шло без thinking; chat template отвечает без thinking, если не передать enable_thinking=True.
• 🔬 MTP-голова переобучена на выходах самой модели и принимает 89,4% draft-токенов на held-out раундах против 89,0% у базовой.
• 🛑 Отдельные наборы учат модель не вызывать инструмент там, где он не нужен, и говорить о своих ограничениях.

💡 Пример

Запуск через vLLM:

vllm serve Orvena/Orvena-4B --max-model-len 32768 --language-model-only \
  --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder

Подробнее

На Orvena bench: 440 из 547 сценариев (80,4%) против 345 (63,1%) у базовой модели и 104 (19,0%) у Apple on-device.
В 13 языках Apple: 220 из 260 (84,6%) против 175 (67,3%) и 77 (29,6%).
На iPhone 17 Pro Max медиана 15,1 с на задачу и 169 токенов на ход; декодирование около 21 ток/с, с MTP-драфтером — 23 ток/с.
Ограничение из карточки: на публичных tool-use бенчмарках модель чаще вызывает инструмент там, где стоит уточнить деталь или отказаться; это главная цель следующей версии.