Trust evidence classifier

Модель от abdulaziz01 на базе jhu-clsp/mmBERT-small (мультиязычный ModernBERT, 0.14B параметров) оценивает, насколько сильны доказательства в заявке на AI-развёртывание. Используется в приложении Trust на экране Evidence, чтобы предложить уровень для каждого пункта, присланного командой проекта. Поддерживает английский и арабский.

✅ Ключевые особенности

• 🦾 Пять меток: declared, document-inspected, configuration-checked, test-observed, not-evidence.
• 🐆 Двуязычная работа: английский и арабский; обучение и тесты на синтетических двуязычных данных.
• 📉 На отложенном тесте: accuracy 0.920 и macro F1 0.923 против 0.360 и 0.317 у rules baseline.
• ✅ В Trust действуют жёсткие ограничения: загруженный документ максимум document-inspected, а тесты учитываются только если Trust сам их запускал.

😎 Пример

Фраза access is restricted без подтверждения → declared. Выгрузка настроек YAML/JSON → configuration-checked. Записанные результаты тестов с pass/fail → test-observed. Модель только предлагает силу доказательства, а решение остаётся за правилами Trust.

Подробнее

Тест: 150 примеров из невиданных шаблонов; accuracy 0.920, macro F1 0.923; по языкам EN 0.885, AR 0.968.
Обучение: 1530 train / 170 validation, 4 эпохи, lr 5e-5, batch 32, max length 256, на T4.
Ограничения: данные синтетические; реальные документы длиннее и грязнее; модель читает до 256 токенов; не предназначена как единственная основа для одобрения.