KnowLine-31B-Gen2
модель принятия решений с откалиброванными вероятностями
2 min readupdated
KnowLine-31B-Gen2 от PelaAI — специализированная LLM (языковая модель) на 31 млрд параметров, построенная на базе dense-модели google/gemma-4-31B-it. Вместо генерации длинного текста она принимает состояние (текст, диалог или изображение) и до 64 структурированных вопросов — да/нет, выбор из нескольких вариантов или оценка по шкале — и за один прямой проход (prefill) возвращает точное распределение вероятностей по ответам. От предыдущей версии KnowLine-31B-Gen1.5 и MoE-собратьев модель отличается выросшим качеством на Decision Index (73.00 против 70.50 и 70.72) и встроенной в веса температурой считывания для высокой калибровки уверенности. Пригодится разработчикам агентов, систем маршрутизации запросов и автоматических классификаторов, где важны честные вероятности без лишней генерации текста.
Ключевые особенности
- Ответы без генерации: каждый вопрос обрабатывается за один проход сети, выдавая сразу вероятности токенов-меток, а не связный текст.
- Калибровка вероятностей: в финальные веса вшита температура T = 1.27, благодаря чему уверенность модели соответствует реальной точности (ECE 0.009–0.013, Brier score 0.208–0.231).
- Режим read twice: короткие текстовые запросы до 3 000 токенов по умолчанию дублируются в промпте для повышения точности (при необходимости отключается флагом
--no-read-twice). - Совместимость с клиентами Jev: интерфейс полностью повторяет предыдущие релизы KnowLine и Jev — для перехода достаточно сменить URL или имя модели.
Что можно сделать
- Триаж обращений в поддержку: за один запрос оценить тональность клиента, определить необходимость возврата средств и выбрать отдел для маршрутизации.
- Принятие решений в ИИ-агентах: использовать как быстрый «модуль интуиции» (System One) для выбора инструментов, проверки условий и оценки шагов по рубрикам.
- Автоматическая модерация и скоринг: проверять диалоги и контент сразу по десяткам бинарных и шкальных критериев с опорой на откалиброванные пороги вероятности.
Пример
pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-31B-Gen2 0 8080
curl -s [http://127.0.0.1:8080/v1/systemone](http://127.0.0.1:8080/v1/systemone) -H 'Content-Type: application/json' -d '{
"model": "m",
"state": "Customer: my order arrived broken, I want my money back.",
"questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
"tone": {"type": "choice", "instructions": "Customer tone?",
"criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'Подробнее
Бенчмарки (DI 0.3 public, self-run): общий балл 73.00, Tools & agents — 88.8, Retrieval & routing — 74.8, Language — 74.1.Железо и скорость: веса bf16 занимают ~62.5 ГБ, тестировалась на GPU H20 96 ГБ (медиана ответа 455.4 мс, среднее 1032.6 мс).
Обучение и языки: LoRA SFT (rank 32, alpha 64, 1 эпоха) на синтетике от LLM-учителей; поддерживает английский, упрощённый и традиционный китайский.
Ограничения: визуальный энкодер не дообучался (работает в zero-shot без read twice), модель уязвима к prompt injection в недоверенных данных, лицензия весов — Apache-2.0.










Comments