cbx-rag-context-utilization-68M
быстрый оценщик использования контекста в RAG
2 мин чтенияобновлено
Компактная модель от CobuildX-AI, которая проверяет, какие именно предложения из переданного контекста нейросеть реально использовала при генерации ответа. На вход подаются вопрос, фрагменты текста и сам ответ, а на выходе модель выдаёт оценку и флаг для каждого предложения, а также общую долю задействованного контекста (utilization fraction по стандарту RAGBench). Модель построена на базе энкодера jhu-clsp/ettin-encoder-68m (68 млн параметров) и входит в линейку из четырёх специализированных оценщиков для RAG (поисково-дополненной генерации). В отличие от тяжёлых LLM-судей вроде GPT-3.5, она работает локально за доли секунды на GPU и показывает более низкую ошибку RMSE на тестах. Пригодится разработчикам RAG-систем для автоматической оценки качества поиска, отладки чанкинга и фильтрации лишнего контекста.
Ключевые особенности
- Сверхлёгкая архитектура: всего 68M параметров, один прогон для нескольких коротких пассажей занимает 0,12 с на NVIDIA TITAN RTX (fp16) или 3,04 с на CPU.
- Детализация до предложения: оценивает каждое предложение контекста по отдельности, калибрует вероятности (isotonic calibration) и считает итоговую долю использования.
- Адаптивные профили: поддерживает режимы
contractдля длинных документов (договоров) иfinancialдля коротких финансовых отчётов с цифрами и таблицами. - Умный префильтр: в профиле
contractотбирает 64 ближайших по BM25 предложения и их соседей, сохраняя 98,8% реально использованных фраз при проверке лишь 39% текста.
Что можно сделать
- Заменить дорогой LLM-as-a-Judge: встроить в CI/CD-пайплайн оценки RAG вместо вызовов API коммерческих моделей для подсчёта метрики Context Utilization на англоязычных документах.
- Оптимизировать ретривер и размер чанков: находить «балластные» фрагменты, которые регулярно попадают в промпт, но игнорируются генератором ответа.
- Анализировать финансовые и юридические базы: проверять ответы ассистентов по договорам и отчётности с помощью встроенных профилей под эти домены.
Пример
from cbx_rag_eval import ContextUtilization
judge = ContextUtilization(".")
out = judge(question, passages, answer)
print(out["utilization"])
used = [s for s in out["sentences"] if s["utilized"]]
Подробнее
Метрики (answer-level RMSE, ниже — лучше): на CUAD contracts — 0.039 против 0.059 у GPT-3.5; на FinQA reports — 0.033 против 0.134 у GPT-3.5.Качество на уровне предложений: AUROC 0.981 на CUAD (precision 0.78 / recall 0.60) и 0.995 на FinQA (precision 0.90 / recall 0.88).
Обучение и ограничения: дообучена на данных RAGBench (CUAD и FinQA) с разметкой от LLM; работает только с английским языком, лицензия Apache-2.0.










Комментарии