CLEF-Screen-V2

Это redo-файнтюн JointSchemaHead (121 762 820 параметров, 122 тензора) поверх замороженного бэкбона Cloudflare CLEF-Flash LiteRT от macmacmacmac. Обучалась только голова, бэкбон не менялся; репозиторий — полный LiteRT-checkpoint. Язык — английский.

🔥 Ключевые особенности

• 💪 Обучение только головы на предварительно закодированных hidden states: 3 эпохи, lr 3e-05, batch 16.
• 👀 Сбалансированный train: 16 322 строки (8 232 positive / 8 090 negative), pos_weight 1.0.
• 💸 Dev: AUC 0.9840, TPR@0.5 0.939, FPR@0.5 0.050.
• 🤫 Frozen test: AUC 0.9833, TPR@0.5 0.940, FPR@0.5 0.054; оценка один раз после обучения.
• 🐱 В репозитории есть per-row scores и provenance для воспроизведения.

💪 Пример

Сценарий из карточки: классификатор проверяет вывод инструмента и решает, безопасен ли он. На dev-наборе (n=21 977; 20 282 pos / 1 695 neg) модель при пороге 0.5 поймала 93.9% положительных при FPR 5.0%.

Подробнее

Только задача tool_output_filter: action_authorization_guard не оценивалась (n=0).
Dev/test примерно на 92% состоят из positive, поэтому FPR опирается примерно на 1 700 negative.
Нет оценки adaptive-attack и независимой репликации; цифры — development measurements, не гарантия для деплоя.
Обучение и eval заняли 90 мин на AMD MI355X 288GB плюс 44 мин на кодирование бэкбона.