Другоеb2z
FastBrain-9B-oQ4e
квантованная System-1 модель решений для MLX
1 мин чтения
Это MLX-чекпоинт FastBrain-9B от b2z, сжатый через oQ (oMLX v0.7.4.dev1). Модель на 9.41B параметров предназначена для структурированных решений по JSON-состоянию и схемам choice, noul и score.
📌 Ключевые особенности
- ⚡ Смешанное квантование oQ: среднее 5.518 бит/вес, итоговый чекпоинт — 6.123 GiB.
- ⚙ База FastBrain-9B: 9.4B параметров,
Qwen3.5-9Bhybrid backbone + 116MJointSchemaHead. - 🔄 Неавторегрессионный режим: все кандидаты и вопросы оцениваются за один forward pass, 0 сгенерированных токенов.
- 📊 Бенчмарки:
safeagents-judge-bench— 97.4% balanced acc и 85.1% Macro-F1 (#1/9); Cloudflare Decision Index — 80.55% (#1 среди ≤9B). - 🔒 Без внешнего LoRA/PEFT на инференсе: обновления backbone и decision-head уже упакованы в весах.
💬 Пример
Сценарий из карточки: на вход подаётся произвольное JSON-состояние и одна или несколько схем решений — choice, noul (бинарная проверка) или score (ранжирование). Модель совместно оценивает все варианты за один forward pass и возвращает калиброванные вероятности, выбор tool-call или open-set abstention.
Подробнее
Бенчмарки:LocalLLaMA/typed-decisions — 75.25%/76.25% zero-shot (#7/42, #2 среди ≤9B); fitted — 79.70%/80.70% (80.70% при альтернативном подсчёте).Память: language model — 5.047 GiB, vision — 0.849 GiB, joint schema head — 0.227 GiB.
Ограничения: карточка указывает только английский язык; это квантованный вариант, а не отдельное обучение.
Архитектура: 32 hybrid-блока, контекст до 262 144 токенов.
Комментарии