InferenceGuard-Roberta-Risk

Это encoder-only мультизадачный классификатор на базе roberta-base от InferenceGuard Project Team. Он оценивает, насколько из английского текста можно вывести возраст, местоположение, профессию и образование автора. Модель содержит около 125 млн параметров и четыре параллельные MLP-головы поверх общего энкодера.

👁 Ключевые особенности

• ✅ Четыре независимые головы: Age, Location, Occupation, Education.
• 📉 Калиброванные вероятности через temperature scaling; риск переводится в LOW/MEDIUM/HIGH.
• 🤫 Ищет не прямые PII, а косвенные языковые сигналы: годы выпуска, транспорт, сертификаты, степень.
• 🦾 Поддерживает Integrated Gradients для подсветки фрагментов, из-за которых растёт риск.
• 🚙 Быстрый инференс: менее 25 мс на CPU и менее 3 мс на CUDA.

😎 Пример

from transformers import AutoModel, AutoTokenizer

tok = AutoTokenizer.from_pretrained(REPO_ID)
model = AutoModel.from_pretrained(REPO_ID, trust_remote_code=True)
inputs = tok('I graduated from Stanford in 2018...', return_tensors='pt', truncation=True, max_length=512)
probs = model.predict_proba(**inputs, apply_temperature=True)
print({k: round(v.item(), 3) for k, v in probs.items()})

Подробнее

На тесте macro ROC-AUC 0.891, macro F1 0.835, ECE после калибровки 0.039.
Чекпоинт около 478 МБ; обучение — 3 эпохи на SynthPAI (7 823 комментария) за ~18 минут на A100.
Ограничения: только английский, conversational-данные; не forensic-инструмент и не замена ручной проверке.