ProofKV-scorer
модель для компиляции цепочек доказательств в KV-память
2 мин чтенияобновлено
ProofKV-scorer — это набор чекпоинтов кросс-энкодера (cross-encoder) на базе модели microsoft/MiniLM-L12-H384-uncased с примерно 33 миллионами параметров, созданный для исследовательского проекта ProofKV из доклада на EACL 2027. Модель читает документ один раз, находит и оценивает релевантные текстовые фрагменты и связи между ними, формируя переиспользуемую доказательную базу для систем вопрос-ответ (QA). В отличие от стандартных методов полного сканирования контекста, она позволяет отбирать цепочки фактов под жесткий лимит KV-памяти и передавать их в декодер. Инструмент пригодится исследователям и разработчикам, работающим с многошаговым поиском информации по длинным документам и оптимизацией работы LLM.
Ключевые особенности
- Три специализированные головы: начальная и конечная для оценки текстовых диапазонов относительно вопроса, а также девятипозиционная связующая голова для парных фрагментов.
- Компактный размер: 12-слойная архитектура с 384 скрытыми состояниями (~33 млн параметров), инициализированная из MiniLM.
- Готовые чекпоинты: финальная интерполированная версия для широкого спектра задач и отдельный чекпоинт, обученный на реплеях MuSiQue.
- Интеграция с репозиторием: полная совместимость со скриптами релиза ProofKV для верификации и тестирования селекторов.
Что можно сделать
- Исследование QA: воспроизвести эксперименты из научной работы по компиляции цепочек доказательств для структурированного поиска ответов.
- Интеграция с декодерами: подключить скорер к моделям вроде Qwen2.5-14B для тестирования работы с упакованными контекстами и дистракторами.
- Анализ retrieval: запускать оценку пропущенных шагов, итеративный поиск и генерацию матриц с фиксированным бюджетом байт.
Пример
from huggingface_hub import snapshot_download
snapshot_download("XingjianZhangDev/ProofKV-scorer", local_dir="checkpoints",
allow_patterns=["proofkv_scorer_*/*"])
from proofkv.proofcache.model import TypedRelationScorer
scorer, tokenizer = TypedRelationScorer.load_checkpoint("checkpoints/proofkv_scorer_final", device="cuda")Подробнее
Бенчмарки: пятизадачный набор из статьи, включая HotpotQA, 2WikiMultiHopQA и MuSiQue.Обучение: оптимизатор AdamW с шагом обучения 2e-5, вес затухания 0.01, размер батча 48, клиппинг градиента 1.0.
Ограничения: максимальная длина входа составляет 320 токенов; модель предназначена для английского языка.
Лицензия: MIT.










Комментарии