Kervyn Rerank 100M Preview
лёгкий реранкер для текста и кода
2 мин чтенияобновлено
Модель решает задачу переранжирования поисковой выдачи: она одновременно читает запрос пользователя и найденный фрагмент документа, после чего выставляет им оценку релевантности. Это помогает поднять самый точный ответ на первое место поверх результатов векторного поиска, BM25 или гибридных систем. Модель построена по архитектуре cross-encoder (нейросеть, оценивающая пару «запрос — документ» целиком, а не по отдельности), насчитывает 104M параметров и обучена командой Kervyn-AI с нуля без дистилляции чужих моделей. В отличие от многих аналогов, она не портит поиск по исходному коду и работает в 2,8 раза быстрее на CPU, чем популярный bge-reranker-v2-m3. Пригодится разработчикам RAG-систем, корпоративных поисковиков и ассистентов по кодовой базе на английском и испанском языках.
Ключевые особенности
- Компактность и скорость: всего 104M параметров (в 5 раз меньше bge-reranker-v2-m3), переранжирование топ-20 занимает 2,5 секунды на 8 vCPU против 7,1 секунды у конкурента.
- Сохраняет качество поиска по коду: на бенчмарке CodeSearchNet Python поднимает метрику до 91,74, тогда как bge-reranker-v2-m3 просаживает её с 90,08 до 82,81.
- Кросс-языковой поиск: поддерживает английский, испанский и запросы между ними (например, вопрос на испанском к тексту на английском).
- Полностью с нуля под Apache-2.0: собственная архитектура (ModernBertForSequenceClassification, 12 слоёв × 768 с RoPE), токенизатор на ~24 600 токенов и весы без ограничений коммерческого использования.
Что можно сделать
- Улучшить точность RAG-пайплайна: поставить вторым этапом после Kervyn Embeddings 100M или bge-m3, чтобы отбирать лучшие чанки из топ-20 перед подачей в LLM.
- Настроить поиск по репозиториям и документации: использовать в инструментах поиска по Python-коду и техническим базам знаний без потери релевантности на сниппетах.
- Дообучить под свой домен на обычной видеокарте: благодаря размеру 104M полный файнтюнинг через
CrossEncoderTrainerизsentence-transformersпомещается в пользовательскую GPU.
Пример
from sentence_transformers import CrossEncoder
reranker = CrossEncoder("Kervyn-AI/Kervyn-Rerank-100M-Preview", max_length=512)
query = "What notice period does the contract have?"
passages = ["Notice period is 30 calendar days.", "Payment is due within 15 days."]
scores = reranker.predict([(query, p) for p in passages])
ranked = [passages[i] for i in scores.argsort()[::-1]]
Подробнее
Средний nDCG@10 по 8 задачам: 94,45 поверх Kervyn Embeddings и 94,67 поверх bge-m3 (против 94,23 и 94,18 у bge-reranker-v2-m3), но на чисто текстовых задачах без кода уступает ему 0,7–1 балл.Ограничение контекста: до 512 токенов суммарно на запрос и пассаж (запрос обрезается до 400 символов).
Обучение: предобучение на 48 млрд токенов (EN, ES, код) + списочное обучение на ~680 000 вопросов с 7 сложными негативами на каждый.
Ограничения: версия Preview (для фиксации весов используйте
revision="v1"), динамическая квантизация int8 не рекомендуется — используйте fp32.









Комментарии