ettin-reranker-68m-v1.lna-trecrag25-collections
оценка полноты ответов в RAG
2 min readupdated
Набор компактных классификаторов (моделей на 68 млн параметров), который проверяет, подтверждает ли сгенерированный текст конкретный факт («наггет»). Репозиторий основан на реранкере cross-encoder/ettin-reranker-68m-v1 и дообучен автором DylanJHJ специально для задач оценки в TREC RAG 2024 (трек trecrag). Вместо одного общего чекпоинта здесь собраны специализированные версии под 56 конкретных тем (DT) и 779 отдельных фактов-утверждений (DTN). Пригодится разработчикам RAG-систем и исследователям информационного поиска для автоматической валидации качества ответов без привлечения тяжелых LLM-судей.
Ключевые особенности
- Двухуровневая архитектура: базовый бэкбон дообучен под каждую из 56 тем (DT), а поверх него добавляются легковесные «головы» классификации под 779 конкретных фактов (DTN).
- Компактный размер: база на 68M параметров работает быстро и не требует больших вычислительных мощностей при инференсе.
- Контекст до 1024 токенов: при проверке пары «факт + ответ» модель обрезает только сам ответ, сохраняя проверяемое утверждение целиком.
- Вероятностная оценка: на выходе получается вероятность от 0 до 1 (через функцию
sigmoid), где порог 0.5 определяет статусsupport(подтверждено).
Что можно сделать
- Автоматизировать оценку RAG-пайплайнов: использовать модели для подсчета полноты (recall) и точности ответов вашей системы на бенчмарке TREC RAG 2024.
- Заменить тяжелых LLM-судей: применять компактный кросс-энкодер для быстрой фильтрации и ранжирования ответов, проверяя наличие нужных тезисов в тексте.
- Исследовать дообучение реранкеров: использовать готовую структуру с замороженным бэкбоном и сменными головами
reranker_head.ptкак шаблон для своих наборов проверочных фактов.
Пример
# Загрузка DT-модели для темы и DTN-модели для конкретного факта
dt = EttinNuggetJudge(repo, qid="2024-105741")
dtn = EttinNuggetJudge(repo, qid="2024-105741", nugget_hash="1142327206160558")
score = dtn.score(nuggets=[nugget_text], answers=[rag_answer])
print(score) # Вероятность подтверждения факта (порог 0.5)Подробнее
Метрики на тестовой выборке (8 532 пары, 25% отложенных прогонов, порог 0.5): этап DTN показал Accuracy 0.935, F1 0.900, Precision 0.916 и Recall 0.884.Обучение DT: полный файнтюн от чекпоинта D на 3 эпохи (lr 5e-5, batch size 32) для каждой темы.
Обучение DTN: обучение только новой головы поверх замороженного бэкбона темы на 4 эпохи (lr 2e-5, binary cross-entropy).
Для запуска требуются только стандартные библиотеки
torch, transformers и huggingface_hub.









Comments