Sieve-31B-v3

Sieve-31B-v3 от sthanika-ai — decision-модель на базе google/gemma-4-31B-it (31,27 млрд параметров). Она принимает текст или JSON и типизированные вопросы, а возвращает калиброванные вероятности по каждому варианту. Текст модель не генерирует.

🔥 Ключевые особенности

• ✔ Полный fine-tune всех linear projection 60 decoder layers; token embeddings и все norm заморожены.
• 🔥 Ranked #1 (tied) на Decision Index: Full score 71,10.
• 💻 В 10 global attention слоях внимание двунаправленное, в 50 sliding-window слоях — causal.
• 📚 Поддерживает вопросы choice, noul и score; до 255 вариантов.
• 🎧 Для choice варианты читаются в двух порядках, вероятности усредняются — так гасится positional bias.

💻 Пример

from sieve import load_sieve, decide
m = load_sieve('sthanika-ai/Sieve-31B-v3')
decide(m, {'subject': 'Duplicate charge', 'body': 'Billed twice. Refund or we cancel.'},
       {'department': {'type': 'choice', 'instructions': 'Which team?',
                       'criteria': {'billing': 'refunds', 'technical': 'bugs'}},
        'churn_risk': {'type': 'noul', 'instructions': 'Threatens to cancel?'}})

Подробнее

Decision Index: #1 (tied), Full score 71,10; public score 71,68.
VRAM: bf16-веса занимают 58,3 GiB, пик в бенчмарке — 81,4 GiB. Хватает одной 96 GB GPU, короткие запросы помещаются на 80 GB.
Обучена на промптах до 16 384 токенов; лимитов не заявлено, запросы не обрезаются.
Калибровка на отдельном split: NLL 0,2212, ECE 0,0083.