CLEF-Screen-V2
голова для фильтрации вывода инструментов
1 min read
Это redo-файнтюн JointSchemaHead (121 762 820 параметров, 122 тензора) поверх замороженного бэкбона Cloudflare CLEF-Flash LiteRT от macmacmacmac. Обучалась только голова, бэкбон не менялся; репозиторий — полный LiteRT-checkpoint. Язык — английский.
Ключевые особенности
- Обучение только головы на предварительно закодированных hidden states: 3 эпохи, lr 3e-05, batch 16.
- Сбалансированный train: 16 322 строки (8 232 positive / 8 090 negative), pos_weight 1.0.
- Dev: AUC 0.9840, TPR@0.5 0.939, FPR@0.5 0.050.
- Frozen test: AUC 0.9833, TPR@0.5 0.940, FPR@0.5 0.054; оценка один раз после обучения.
- В репозитории есть per-row scores и provenance для воспроизведения.
Пример
Сценарий из карточки: классификатор проверяет вывод инструмента и решает, безопасен ли он. На dev-наборе (n=21 977; 20 282 pos / 1 695 neg) модель при пороге 0.5 поймала 93.9% положительных при FPR 5.0%.
Подробнее
Только задачаtool_output_filter: action_authorization_guard не оценивалась (n=0).Dev/test примерно на 92% состоят из positive, поэтому FPR опирается примерно на 1 700 negative.
Нет оценки adaptive-attack и независимой репликации; цифры — development measurements, не гарантия для деплоя.
Обучение и eval заняли 90 мин на AMD MI355X 288GB плюс 44 мин на кодирование бэкбона.










Comments