Gimbal-27B

Gimbal-27B от Superwheat — это 27B-модель (25,62 млрд параметров), дообученная через LoRA на Qwen/Qwen3.8-27B в роли 3-классного cross-encoder. Она принимает текстовый запрос с собственными вариантами и возвращает калиброванную вероятность для каждого варианта в задачах choice, noul (да/нет) и score. В репозитории лежат merged bf16-веса и исходный адаптер.

🧐 Ключевые особенности

• 🧐 Три типа типизированных решений: choice, noul и score — без свободного текста на выходе.
• 💯 Калибровка: вероятность 0.8 соответствует примерно 80%; ECE на jev-dev choice — 1.9 с calibration v2.
• 🔥 Устойчивость к перестановке вариантов: 87.5 на JevBench против 76.4 у hosted Jev.
• 🚀 Готова к запуску через vLLM; есть merged bf16-checkpoint и оригинальный LoRA-адаптер.
• 👀 На S1MB English (137 бенчмарков): 72.7 yes/no, 72.4 choice, 58.8 score против 64.6 / 67.2 / 46.9 у hosted Jev 1.13.
• 😎 Лицензия Apache-2.0, как у базовой модели.

🚀 Пример

python3.12 -m venv .venv && source .venv/bin/activate
pip install huggingface-hub==1.33.0
hf download Superwheat/Gimbal-27B --local-dir gimbal-27b
pip install -r gimbal-27b/helper/requirements.txt
PYTHONPATH=gimbal-27b/helper python -m gimbal_serve.server --model gimbal-27b --port 8000

Подробнее

На sealed held-out Gimbal-27B даёт 80.9% против 74.8% у hosted Jev 1.13 (+6.1).
JevBench consistency — 91.3 против 82.8; option-order stability — 87.5 против 76.4.
Нужны Linux, NVIDIA GPU с ~51 GB свободной VRAM и драйвер CUDA 13; сервер текстовый.
Слабое место — многошаговое применение формул: 50–62%; FP8-сборка тестировалась, но не опубликована.