KnowLine-31B-Gen1

PelaAI выпустила KnowLine-31B-Gen1 — первую версию System One decision-модели на плотной базе google/gemma-4-31B-it. Это 31B-модель для классификации и решений: получает состояние (текст или чат) и до 64 типизированных вопросов, а отвечает распределением вероятностей по вариантам, без генерации текста. Языки: английский, упрощённый и традиционный китайский; веса Apache-2.0.

🔍 Ключевые особенности

• ⚡ Один forward pass на вопрос: на выходе — вероятность токена-метки, а не свободный текст.
• 🖥 Совместима с Jev-клиентами: достаточно сменить base URL; для других KnowLine — имя модели.
• 🧨 Обучение: LoRA SFT (rank 32, alpha 64) один epoch, затем усреднение с базой 0.75 × fine-tuned + 0.25 × Gemma 4.
• 👀 Обучение только текстовое, но vision tower сохранён: zero-shot изображения и bounding box.
• 📊 Температура T = 1.44 вшита в веса; на публичном наборе ECE ≈ 0.012–0.021, Brier ≈ 0.23–0.26.
• ⚙ Сервинг: SGLang в bf16, read twice по умолчанию; веса ~63 ГБ.

💻 Пример

pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-31B-Gen1 0 8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
  "model": "m",
  "state": "Customer: my order arrived broken, I want my money back.",
  "questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"}}}'

Подробнее

Decision Index 0.3 public: 70.13 (self-run); новые домены, 34 задачи: 74.9.
Веса bf16 ~63 ГБ; тестировали на одном 96 ГБ H20, SGLang резервирует 85% памяти.
Инъекции в состояние меняют 0.4% ответов, незнакомые шаблоны — 5.3%; у 26B-A4B-Gen2.5 — 0.1% и 1.7%.
Все оценки self-run, записи в лидерборде пока нет.