Rein-r1-4B

Rein-r1-4B — не чат-модель, а управляющая модель на базе Qwen3.5-4B-Base. Она читает диалог и лист правил, возвращает калиброванные вероятности по типизированным вопросам и управляет ответом чат-модели: форсирует tool call, добавляет обязательную фразу, запрещает слова или обрывает ответ. Создана для игровых NPC и контроля правил в support/agent-чатах.

🔥 Ключевые особенности

• 👾 Для NPC: персонаж держит роль и секреты, действует через tool calls, а не описанием действий.
• 🧐 Для правил: запрещённые темы, приватные данные, обязательные фразы, маршрутизация и handoff.
• 🤔 Правила приходят с каждым запросом: новое правило — просто новый вопрос, без дообучения.
• 🚀 В bf16 нужно около 6 GB VRAM; типичный запрос с ~5 правилами — около 100 мс median на RTX 4090.
• 👀 Есть режим draft-правил: проверяет ответ по ходу генерации и режет нарушение.

🧐 Пример

import torch
from transformers import AutoModel

rein = AutoModel.from_pretrained("jmc0/rein-r1-4b", trust_remote_code=True, dtype=torch.bfloat16).to("cuda")
# sheet и tools описываются в карточке модели
support = rein.session(sheet, generator="Qwen/Qwen3.5-4B", tools=tools, system="...")
turn = support.run_turn(conversation)
print(turn.tool_call, turn.visible)

Подробнее

На невиданных правилах: 98.0% правильных ответов в tool-choice и 96.4% в watcher-проверках.
End-to-end с Qwen3.5-0.8B: нужный tool вызван в 93% случаев с Rein против 61% без него (предыдущий Rein-r1-0.8B checkpoint).
NPC-пример с Rein-r1-4B + Qwen3.5-4B на 24 GB RTX 4090 пиковал на 13 GB.
Нужен trust_remote_code=True; Rein не пишет текст — это делает чат-модель.