CiteAudit evidence reranker
поиск подтверждений в научных статьях
2 мин чтенияобновлено
Модель помогает проверить достоверность цитирования в научных текстах: она находит в первоисточнике конкретные предложения, которые подтверждают или относятся к цитирующей фразе. Это компонент системы CiteAudit, который отбирает топ-20 наиболее релевантных фрагментов для последующей проверки NLI-классификатором. Модель построена на базе microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext (110M параметров) в формате cross-encoder и дообучена на датасете Citation-Integrity. Она пригодится разработчикам инструментов для фактчекинга академических статей, автоматического рецензирования и RAG-систем по биомедицинской литературе.
Ключевые особенности
- Прирост точности: в связке с алгоритмом поиска BM25 модель повышает метрику Recall@20 до 0.627 против 0.529 у связки с MonoT5.
- Учёт контекста: при оценке предложения-кандидата модель захватывает до 200 символов из соседних предложений слева и справа (в пределах 192 токенов).
- Компактный размер: архитектура на базе BiomedBERT весит всего 0.11B параметров, что позволяет быстро переранжировать топ-60 кандидатов после первичном отбора BM25.
Что можно сделать
- Автоматический аудит библиографии: встроить реранкер в пайплайн проверки научных работ, чтобы находить точные цитаты-доказательства в PDF-файлах источников.
- Улучшение научного RAG: использовать модель для точного отбора фрагментов из биомедицинских публикаций перед подачей контекста в LLM.
Пример
На вход подаётся пара текстов: text_a (цитирующее предложение с удалёнными маркерами ссылок) и text_b (предложение-кандидат из цитируемой статьи с контекстом соседних фраз до 200 символов). На выходе модель возвращает логит релевантности (чем выше число, тем точнее совпадение). Для корректного формирования окон контекста рекомендуется использовать функцию citeaudit.retrieval.window из пакета CiteAudit.
Подробнее
Метрики на тесте Citation-Integrity (606 цитирований): Recall@10 — 0.510, Recall@20 — 0.627, MRR — 0.379.Обучена с использованием listwise loss на эталонных предложениях и негативных примерах из BM25 (k1 0.9, b 0.4).
Важно формировать текстовые окна строго по правилам пакета citeaudit, иначе итоговые оценки релевантности могут сместиться.










Комментарии