SecPaper-Selector-4B

Это PEFT-адаптер itsalissonsilva на базе Qwen3.5-4B для английских security-текстов. Он получает вопрос и пронумерованные фрагменты, возвращает ID тех, что подтверждают ответ, либо abstain, если материал не даёт ответа. Работает как промежуточный шаг между retrieval и написанием ответа.

🔎 Ключевые особенности

• 🗂 Явный JSON-интерфейс: список evidence ID и флаг abstain.
• 📌 Рассчитан на короткие выдержки из arXiv-метаданных и абстрактов, не на полные статьи.
• ✅ В тесте 149/156 exact reference passage sets; answerable — 100/107, abstention — 49/49.
• 🛡 Проверяет ID и JSON, отбрасывает обрезанные ответы; входы длиннее 16 000 токенов отклоняются.
• ⚙ Адаптер занимает около 57 МБ исходных обученных тензоров до QKV-слияния.

💻 Пример

from evidence import EvidenceSelector

selector = EvidenceSelector(adapter="itsalissonsilva/SecPaper-Selector-4B")
result = selector.select(
    "Which mechanism protects the stored data?",
    {"paper-a/p0": "The system encrypts stored data with AES-GCM.",
     "paper-b/p0": "The controller reduces network latency."},
)
print(result)

Подробнее

Бенчмарк: 95.5% exact set accuracy против 66.0% у сильнейшего untuned-компаратора; метки синтетические, это не проверка научной корректности ответа.
Железо: замеры на A100 80GB, CUDA/BF16, batch 8; база Qwen3.5-4B скачивается отдельно.
Обучение: Tinker attention LoRA, rank 16, alpha 32, 2 эпохи, lr 8e-5, batch 16; 551/101/156 train/val/test.
Ограничения: английский язык, небольшая когорта, arXiv-метаданные и абстракты, возможные коррелированные ошибки аннотации.