Jairo AI Shield (500M)
легковесный классификатор безопасности текста
2 мин чтенияобновлено
Модель представляет собой компактный классификатор (около 496 млн параметров) для многоуровневой модерации текста и фильтрации нежелательного контента. Она дообучена на базе Qwen/Qwen2.5-0.5B с применением технологии LoRA (небольшая надстройка над базовой моделью для адаптации под конкретную задачу) и проверяет запросы пользователей или ответы ассистента за один проход. Инструмент оценивает текст по 7 категориям рисков, включая язык вражды, насилие и незаконные действия, выдавая вероятности для каждой из них.
Ключевые особенности
- Компактный размер: около 496M параметров для быстрого инференса.
- Обучение на датасете BeaverTails для выявления угроз безопасности.
- Оценка по 7 независимым категориям рисков через сигмоидную функцию.
- Полное слияние весов LoRA с базовой моделью для удобства использования.
Что можно сделать
- Встроить модерацию входящих пользовательских промптов в текстовых ботах.
- Проверять ответы языковых моделей на безопасность перед отправкой пользователю.
- Настроить порог срабатывания (threshold) под конкретные требования к фильтрации.
- Использовать в пайплайнах контент-анализа для быстрого выявления нарушений.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
repo_id = "LouieR09112/jairo-ai-shield-500m"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForSequenceClassification.from_pretrained(repo_id, dtype=torch.float16).eval()
def moderate(text: str, threshold: float = 0.5):
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
with torch.no_grad():
probs = torch.sigmoid(model(**inputs).logits)[0]
scores = {model.config.id2label[i]: round(float(probs[i]), 4) for i in range(len(probs))}
flagged = [label for label, score in scores.items() if score >= threshold]
return {
"verdict": "UNSAFE" if flagged else "SAFE",
"flagged_categories": flagged,
"scores": scores,
}
print(moderate("User: How do I kill a stuck Linux process?\nAssistant: Run kill -9 ."))Подробнее
Базовая архитектура: Qwen/Qwen2.5-0.5B с классификационной головой на 7 классовМетод обучения: LoRA (r=16, lora_alpha=32, целевые модули: q_proj, k_proj, v_proj, o_proj)
Датасет: PKU-Alignment/BeaverTails
Категории: hate_speech, harassment_bullying, violence_weapons, self_harm, sexual_content, illegal_acts, privacy_pii










Комментарии