yev2-35b-a3b

Открытая System One decision model от choyiny на базе Qwen/Qwen3.6-35B-A3B (Apache-2.0). Это MoE примерно на 35B параметров, из которых около 3B активны на токен. На вход получает состояние, вопрос и 2–10 вариантов, а на выходе даёт калиброванную вероятность для каждого варианта за один forward pass.

😐 Ключевые особенности

• 😐 Один forward pass: вероятности вариантов читаются из логитов букв A–J.
• 🍒 Поддерживает 2–10 вариантов ответа и возвращает вероятность по каждому.
• 💪 MoE-архитектура: все 35B параметров в GPU, но вычисления на токен — как у ~3B модели.
• 💰 Есть FP8-чекпоинт на 34 ГБ, помещается на одну 48-ГБ GPU; bf16-версия — 65 ГБ и одна 80-ГБ GPU.
• 👀 В репозитории merged bf16 веса и LoRA-адаптер в adapter/.
• 🤫 На DecideBench v2.0 test accuracy 88.0, pair accuracy 78.2, ECE 0.058.

👉 Пример

hf download choyiny/yev2-35b-a3b --local-dir yev2-35b-a3b
pip install torch 'yev[serve,train] @ git+https://github.com/xyspacedev/yev'
yev serve --backend vllm --model yev2-35b-a3b --calibration yev2-35b-a3b/calibration.json --model-name yev2-35b-a3b

Подробнее

На DecideBench v2.0 test: accuracy 88.0, pair accuracy 78.2, ECE 0.058; JevBench public — 90.5.
bf16-чекпоинт занимает 65 ГБ и требует одну 80-ГБ GPU; FP8-версия — 34 ГБ и подходит для 48-ГБ GPU.
Слабое место — release-gating decisions: 52%, это сложно для всех decision-моделей в лидерборде.
Обучение: LoRA r64, α128, dropout 0.05, 80 730 строк, 7.9 ч на одной RTX PRO 6000.