joey-1

joey-1 — 2B-модель принятия решений от Base Labs (Baseten), пост-тренированная из Qwen3.5-2B. На вход получает состояние (текст, опционально изображения) и набор вопросов, а на выходе даёт калиброванную вероятность для каждого варианта. Все вопросы обрабатываются из одного shared-prefix prefill.

⚡ Ключевые особенности

• 🧬 Полный fine-tune языковой модели; vision encoder заморожен.
• 🎯 Поддерживает вопросы noul (P(yes)), choice с вероятностями и score по упорядоченным уровням.
• ⚡ Один shared-prefix prefill на все вопросы в запросе.
• 🖐 Входы: текст и изображения; максимум 16 384 токена.
• 🦁 Есть старшие версии: elephant-1 (9B) и mammoth-1 (27B).
• 💵 Доступна через Baseten Model APIs: $0.01 за 1M входных токенов, zero data retention по умолчанию.

🧩 Пример

from qev.engine import DecisionEngine
from qev.schema import SystemOneRequest

engine = DecisionEngine("baselabs/joey-1", device="cuda:0")
questions = {"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"}}
resp, _ = engine.decide(SystemOneRequest(
    state="I was charged twice this month, please refund one of them.", questions=questions))
print(resp.answers)

Подробнее

Jev Decision Index 0.4 (public): 63.30 — лучшая модель до 4B, #37 из 230.
Реплика Artificial Analysis Decision Index: 62.9.
Self-hosted: один CUDA GPU и образ pytorch/pytorch:2.8.0-cuda12.8-cudnn9-devel; запросы длиннее обученной длины отклоняются, не обрезаются.
Обучение: 6,21 млн decision-примеров, 1 эпоха, 16× H100; язык — английский.