Adilet Search reranker
реранкер для поиска по законам РК на русском и казахском
2 min readupdated
Эта модель оценивает, насколько конкретная статья из законодательства Казахстана отвечает на вопрос пользователя, и переранжирует результаты первичного поиска. В основе лежит компактный cross-encoder (нейросеть, которая оценивает пару «запрос — документ» целиком) cross-encoder/mmarco-mMiniLMv2-L12-H384-v1 размером 0.12B параметров от автора qb2k. В отличие от базовой zero-shot версии, модель дообучена на юридических и бытовых формулировках вопросов по кодексам РК и точнее поднимает релевантные статьи наверх выдачи. Пригодится разработчикам правовых справочников и RAG-систем (поисковых систем для генерации ответов с опорой на документы) по законам Казахстана.
Ключевые особенности
- Два языка: работает с запросами и текстами законов на русском и казахском языках.
- Компактный размер: всего 0.12B параметров — легко запускается и быстро считает скоры даже без мощных GPU.
- Прирост точности над базой: превосходит исходную
mmarco-mMiniLMv2-L12-H384-v1по всем измеренным метрикам ранжирования (nDCG@10 вырос с 0.867 до 0.880, F1 — с 0.598 до 0.652). - Готовый компонент пайплайна: используется как модуль переранжирования в релизе 1.0.0 проекта Adilet Search.
Что можно сделать
- Улучшить юридический RAG-бот: поставить модель вторым этапом после BM25 или векторного поиска, чтобы отбирать самые точные статьи кодексов РК перед передачей в LLM.
- Собрать поиск по корпоративным или правовым базам РК: ранжировать кандидатов по бытовым запросам пользователей, когда формулировка вопроса не совпадает со строгим языком закона.
Пример
from sentence_transformers import CrossEncoder
model = CrossEncoder("qb2k/adilet-reranker-mminilm-ru-kk", max_length=256)
scores = model.predict([
("работодатель задерживает зарплату", "Статья 113. Порядок и сроки выплаты заработной платы ...")
])
Подробнее
Метрики на тесте (195 вопросов, переранжирование топ-20 от BM25): nDCG@10 — 0.880 (0.91 для русского, 0.83 для казахского), MRR@10 — 0.866, ROC-AUC — 0.973, F1 — 0.652.Обучение: 4 264 пары «вопрос — статья» из 8 кодексов Казахстана (AdiletCodex v1.0), 2 эпохи, max_length до 320 токенов.
Ограничения: обучение проходило только на 8 кодексах (другие нормативные акты вне домена), качество на казахском ниже, чем на русском, модель предназначена для поиска, а не для юридических консультаций.










Comments