ClosureRAG
кросс-энкодеры для поиска доказательств по нормам
2 мин чтенияобновлено
ClosureRAG представляет собой набор обученных чекпоинтов на базе Qwen3-Reranker-0.6B, предназначенных для задач поиск-документов (retrieval-augmented generation), когда ответ на вопрос требует сбора целого набора взаимосвязанных норм или документов (так называемое замыкание доказательств). Модели оценивают пары «кейс — отрывок» с помощью разницы логитов да/нет на последней позиции. Репозиторий включает в себя два уровня ранжирования (групповой ритривер и контекстно-зависимый рескорер), а также модуль абляции, помогая улучшить точность поиска в сложных юридических или нормативных базах данных.
Ключевые особенности
- База Qwen3-Reranker-0.6B: все три модели дообучены на базе эффективного открытого ранжировщика размером 0.6B параметров.
- Многоуровневый пайплайн: разделение на Level-1 (групповое покрытие кандидатов) и Level-2 (контекстно-условное переоценивание).
- Высокие метрики FullCov и Recall: модели показывают значительное улучшение покрытия на тестовом датасете из 1,160 сложных вопросов.
- Полный комплект кода: репозиторий содержит скрипты инференса, подготовки запросов и оценки результатов.
Что можно сделать
- Интегрировать в RAG-систему: применить двухуровневый ритривер в проектах, где для ответа на вопрос нужно собирать полный комплект взаимосвязанных документов или правил.
- Запустить инференс: использовать скрипты из репозитория для оценки кандидатов на тестовых пулах с помощью
scripts/run_inference.sh. - Скоррить кандидатов в Python: использовать готовые примеры кода для оценки отдельных кандидатов через трансформеры на PyTorch.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from closurerag.fmt import Fmt, score
path = "models/l1_coverage_ranker"
tok = AutoTokenizer.from_pretrained(path, padding_side="left")
model = AutoModelForCausalLM.from_pretrained(path, dtype=torch.bfloat16).cuda().eval()
F = Fmt(tok, 768)
case = F.case(question_text)
seqs = [F.encode(case, F.cand(cid, why)) for cid, why in candidates]
with torch.no_grad():
s = score(model, tok, F, seqs)
Подробнее
• Архитектура: три модели (l1_coverage_ranker, l2_context_rescorer, l1_pointwise_ablation).• Тестовый набор: 1,160 вопросов (InsClosure), метрика ClosureRAG достигает FullCov@5 27.6 и R@5 69.1.
• Обучение: выполнено на одном GPU A100-40GB в формате bf16 с оптимизатором AdamW (lr 1e-5).
• Лицензия: Apache-2.0 (как у базовой модели).










Комментарии