Signpost-D 9B
модель принятия решений за один проход
2 min readupdated
Модель оценивает переданное состояние (JSON-запись или текст) и возвращает вероятности вариантов ответа на типизированные вопросы: да/нет (noul), выбор одного из вариантов (choice) или оценка по шкале (score). В отличие от обычных LLM, она не генерирует связный текст, а вычисляет вероятности токенов ответа за один прямой проход (forward pass). Основана на Qwen3.5-9B (9.7B параметров, fp16, веса объединены после усреднения трёх LoRA-запусков — weight soup, визуальная башня оставлена без изменений) от автора skamalj. Подойдёт разработчикам для быстрой классификации, маршрутизации событий и автоматизации решений в пайплайнах без лишних затрат на генерацию длинных ответов.
Ключевые особенности
- Три формата вопросов: поддерживает бинарные проверки (
noul), выбор из списка (choice) и шкалированные оценки (score). - Работа без генерации текста: читает логиты первого токена ответа, обеспечивая медианную задержку 214 мс на кейс из 5 вопросов на одной NVIDIA L40S.
- Нативная работа в vLLM: запускается без дополнительных адаптеров через эндпоинт
/v1/systemoneс контекстом до 8 192 токенов. - Открытая лицензия: распространяется под Apache-2.0, как и базовая модель.
Что можно сделать
- Автоматизация обработки заказов и тикетов: передавать JSON со статусом заказа или обращения и сразу получать вероятности задержки, риска жалобы или следующего действия.
- Фильтрация и скоринг в агентских системах: использовать как быстрый классификатор для оценки состояний, инцидентов безопасности или маршрутизации задач вместо тяжелых LLM-судей.
Пример
vllm serve skamalj/signpost-d-9b --max-model-len 8192 --max-num-seqs 8 --logprobs-mode raw_logprobs
curl -s localhost:8000/v1/systemone -H 'Content-Type: application/json' -d '{
"model": "skamalj/signpost-d-9b",
"state": {"order": {"id": "A-17", "paid": true, "shipped": false, "days_since_payment": 9}},
"questions": {
"late": {"type": "noul", "instructions": "The order is late to ship.", "criteria": null},
"risk": {"type": "score", "instructions": "How likely is a complaint?", "criteria": ["Low", "Medium", "High"]}
}}'
Подробнее
Бенчмарк LocalLLaMA/typed-decisions (test, 2000 решений): общая точность 0.7345 (0.818 на noul, 0.735 на choice, 0.670 на score), KL от эталона 0.159, Brier 0.082.Железо и софт: замеры проведены на одной NVIDIA L40S в fp16; требуется актуальная nightly-сборка vLLM (проверено на 0.34.0rc1.dev535).
Обучение: 2 575 синтетических JSON-записей (12 274 вопроса) в 163 вымышленных доменах; усреднение весов (weight soup, α 0.75) трёх запусков LoRA.
Ограничения: работает только на английском языке, не умеет вести диалог и слабее всего отвечает на вопросы типа score.










Comments