Arete-27B

Это 4-битный пакет splash-packed-q4 для движка Splash — runtime в LM Studio или standalone splash serve. Собран из BF16-чекпоинта Arete-27B от Nous Research, то есть value-alignment SFT на базе Qwen3.8-27B. В пакете 78 артефактов, 73 файла весов, ~17.37 ГБ.

👀 Ключевые особенности

• 👀 Формат splash-packed-q4 для Splash runtime: LM Studio или standalone splash serve.
• 💪 Draft DFlash2 и vision tower взяты байт-в-байт из официального пакета incoai/Qwen3.8-27B-Splash — они family-specific и config-identical.
• 🐱 Проверен в LM Studio на M5 Max (128 ГБ): reasoning 17 × 23 = 391, √169 = 13, vision на однотонном изображении.
• 💳 Скорость: 104.5 tok/s decode в single stream; с очень большим контекстом (262K) — около 68 tok/s.
• 🤫 Лицензия Apache-2.0, как у исходной модели.

👉 Пример

В LM Studio: скачайте пакет в папку моделей, выберите arete-27b-splash и запустите через Splash runtime. Для standalone splash serve загружает сырые чекпоинты напрямую — указывайте Arete-27B, а не этот пакет.

Подробнее

Пакет: 78 артефактов, 73 weight-файла, ~17.37 ГБ.
Тест: M5 Max 128 ГБ, LM Studio Splash runtime; 104.5 tok/s decode (single stream, ~60-token prompt, temp 0), ~68 tok/s при контексте 262K.
Ограничение: формат пакета — для LM Studio runtime; standalone splash serve работает с raw-чекпоинтами.
Конвертация: BF16 → 4-bit packed через splash-converter; draft и vision — byte-copies официального пакета.