newTokenEra-decision-ct-Qwen3.8-27B
решение вместо генерации текста
2 min readupdated
NewTokenEra выпустила пост-тренированную модель принятия решений на базе Qwen3.8-27B. Она получает состояние, вопросы и варианты ответов, а метод decide() возвращает выбранную категорию, числовую оценку или вероятность «да». Это полный BF16-чекпоинт на 26,09 млрд параметров; текст модель не генерирует — на вопрос уходит один forward pass.
Ключевые особенности
- Три режима:
choice— выбор из 2–26 именованных вариантов с вероятностями и уверенностью;score— оценка по 2–10 уровням;noul— вероятность «да». - Один JSON-запрос содержит
stateи 1–64 вопроса; рендерер принимает текст или JSON, до 4 096 токенов на вопрос. - Двуязычная модель: китайский и английский; примеры и документация в репозитории.
- Возвращает вероятности, условные на переданных альтернативах, без генерации токенов.
- Для
choiceиnoulпорядок вариантов задаётся переданным словарём, дляscore— порядком уровней.
Пример
from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(folder, trust_remote_code=True)
model = AutoModel.from_pretrained(folder, trust_remote_code=True, dtype=torch.bfloat16, device_map={"": 0}).eval()
result = model.decide(request, tokenizer)
print(json.dumps(result, ensure_ascii=False, indent=2))
Подробнее
Бенчмарки: 97,84% accuracy на 1 340 классификационных и Boolean-решениях; Score MAE — 0,1935 для китайского и 0,1627 для английского.Железо: BF16-веса занимают около 52,17 ГБ; тестировалось на одной CUDA-карте NVIDIA H20 с PyTorch 2.10.0+cu126 и Transformers 5.22.1.
Ограничения: вероятности не калиброваны под конкретный домен, а N bank использовался при разработке интерфейса — перед продакшеном нужны свои примеры и пороги.










Comments