Bekko Aegis2 Prompt Categories Classifier
10 категорий риска для промптов
1 мин чтенияобновлено
Это линейный классификатор промптов на scikit-learn, обученный вне fse на базе hotchpotch/bekko-static-embedding-v1. Сохраняет энкодер и работает как полный head для fse.Heads; по метаданным — 0,21 млрд параметров. Карточка описывает его как англоязычный инструмент для разметки промптов по категориям безопасности.
Ключевые особенности
- 10 выходных меток:
hate_identity_hate,sexual,suicide_self_harm,violence,guns_illegal_weapons,pii_privacy,criminal_planning_confessions,harassment,controlled_regulated_substances,profanity. - Полный head с энкодеро��: можно объединить с safety-head в
fse.Headsи делить один проход токенизации и пулинга. - Нужен fse master с поддержкой multilabel или fse 2.1; fse 2.0.0 не загрузит этот артефакт.
- Категория положительна только когда
prompt_label= unsafe и категория названа; safety и categories предсказывают независимо и могут расходиться. - Обучение: 22 537 строк, StandardScaler + LogisticRegression (lbfgs), OneVsRestClassifier, balanced class weights, C=0.1, seed 17.
Пример
import fse
safety = fse.Classifier.from_pretrained('fse/bekko-aegis2-prompt-safety-classifier')
categories = fse.Classifier.from_pretrained('fse/bekko-aegis2-prompt-categories-classifier')
heads = fse.Heads(safety=safety, categories=categories)
scores = heads.predict(['How do I bake sourdough bread?'], output='proba')
Подробнее
AP на held-out (all, 1928 строк): criminal_planning_confessions 0.771, pii_privacy 0.582, hate_identity_hate 0.498.Метрика — sklearn average_precision_score, не площадь PR-кривой; веса не калиброваны, scores не вероятности.
Оценён только преимущественно английский датасет; другие языки не проверены. Статические эмбеддинги могут пропускать интент, отрицание, цитаты и контекст — нужна проверка человеком.
Отдельных standalone-файлов нет: артефакт представляет собой полный head.










Комментарии