K-IM-Deiction
0.8B-судья для триажа сообщений в рабочих чатах
2 min read
K-IM-Deiction от Songkai — специализированная модель для оценки окон сообщений в китайских корпоративных групповых чатах. Построена на Qwen/Qwen3.5-0.8B (0,85B параметров) и выдаёт семь калиброванных суждений за один forward pass: категорию, тональность, важность, срочность, интенсивность, вероятность «нужно внимание» и «есть to-do». В репозитории сразу две формы: слитые веса и LoRA-адаптер. Это слой суждений, а не решений: модель не действует сама, а даёт сигналы для правил и порогов.
Ключевые особенности
- Семь голов в одном проходе; медиана 41,0 мс на RTX 4090 D (batch 1, до 512 токенов).
- Две формы: merged-веса 1,71 GB и LoRA-адаптер 102,4 MB поверх Qwen/Qwen3.5-0.8B.
- Калибровка через temps.json и calib.json: вероятности attention и todo стоит калибровать перед порогом.
- Сценарии: триаж внимания, добыча to-do, маршрутизация, очереди приоритетов, мониторинг тональности, префильтр перед LLM.
- Работает полностью локально, без API; но домен — китайские рабочие чаты, а вложения, картинки и ссылки видны только как placeholder-токены.
Пример
from transformers import AutoModelForImageTextToText, AutoTokenizer
import torch
REPO = "Songkai/K-IM-Deiction"
tok = AutoTokenizer.from_pretrained(REPO)
tok.truncation_side = "left"
model = AutoModelForImageTextToText.from_pretrained(REPO, dtype=torch.bfloat16).cuda().eval()
# heads.pt и calib.json нужно взять из репозиторияПодробнее
Category macro-F1 0.611 (7 классов); needs-attention AUC 0.822 (ECE 0.053); has-todo AUC 0.927 (ECE 0.069); sentiment accuracy 92,8%.Латентность: 41,0 мс median на RTX 4090 D; 48,2 мс на Apple MPS (bf16). Репозиторий — 1,83 GB.
Ограничения: китайский enterprise IM; вложения, изображения и ссылки — только placeholder-токены; не суммаризация и не драфтинг; не единственный арбитр решений.
Учитель — GLM-5.3; модель задумана как дешёвый фильтр перед большими LLM.










Comments