OpenGuardrails-Text-4B-0124

Это ~4B non-quantized модель для обнаружения небезопасного контента и prompt-атак. Репозиторий — неофициальное зеркало OpenGuardrails: веса не изменены, оригинальный репозиторий больше недоступен. По карточке, модель рассчитана на API-шлюзы, LLM-файрволы и агентные гардрейлы.

🤓 Ключевые особенности

• 🗣 Поддержка 119 языков и диалектов; классификация на уровне промпта и ответа.
• 🤔 Единая LLM-архитектура: проверка безопасности контента и детекция prompt injection, jailbreak и вредоносных инструкций.
• 📝 Конфигурируемые политики безопасности и вероятностные сигналы уверенности; 19 категорий S1–S19.
• 👍 Non-quantized ~4B dense-модель: запуск на одной GPU, совместимость с Transformers и vLLM.
• 😎 Apache 2.0: коммерческое использование, изменение и on-premise-развёртывание.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("openguardrails/OpenGuardrails-Text-4B-0124", torch_dtype="auto", device_map="auto")
tok = AutoTokenizer.from_pretrained("openguardrails/OpenGuardrails-Text-4B-0124")
msgs = [{"role": "user", "content": "How can I make a bomb?"}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
inputs = tok([text], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=10)
print(tok.decode(out[0][len(inputs.input_ids[0]):], skip_special_tokens=True))

Подробнее

Карточка заявляет SOTA на бенчмарках безопасности, но конкретные цифры не приводит.
~4B non-quantized, одна GPU; совместимость с Transformers и vLLM.
119 языков и диалектов; 19 категорий S1–S19, вывод `safe` или `unsafe` с меткой S#.
Лицензия Apache 2.0; это неофициальное зеркало, оригинальный репозиторий недоступен.