Jina Reranker v2 ONNX int8

Это cross-encoder для переранжирования пар «запрос — документ»: модель выдаёт оценку релевантности. Оригинал обучен Jina AI, поддерживает много языков и контекст до 1024 токенов. В этом репозитории — ONNX-вариант с int8-квантованием; в карточке приведено описание и примеры для оригинальной модели.

📌 Ключевые особенности

• 🌐 Мультиязычный: высокие оценки релевантным документам независимо от языка.
• 📌 Контекст до 1024 токенов; длинные тексты можно разбивать скользящим окном.
• ⚡ Заявлен flash attention и ускорение в 3–6 раз при его использовании.
• 🔗 Интеграции: transformers, sentence-transformers CrossEncoder, transformers.js и API Jina.
• 📊 Конкурентоспособен на бенчмарках для retrieval, function-calling, text-to-SQL и кода.
• ⚠️ Лицензия CC-BY-NC-4.0 — только research/evaluation; для коммерции нужны API Jina.

💻 Пример

from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained(
    'jinaai/jina-reranker-v2-base-multilingual',
    torch_dtype='auto', trust_remote_code=True,
).to('cuda').eval()

scores = model.compute_score([[query, doc] for doc in documents], max_length=1024)

Подробнее

Бенчмарки: MKQA nDCG@10 — 54.83, BEIR — 53.17, MLDR recall@10 — 68.95.
Размер оригинальной модели — 278M параметров.
Для flash attention нужны совместимые GPU и пакеты ninja/flash-attn; можно отключить use_flash_attn=False.
В карточке нет ONNX-инструкций и параметров квантования — проверяйте совместимость самостоятельно.