novel-reranker-gpl-base-v1
кросс-энкодер для ранжирования китайских новелл
1 мин чтения
Модель от liudev — CrossEncoder на базе hfl/chinese-roberta-wwm-ext, обученный через sentence-transformers. Считает score для пар текстов и подходит для reranking и семантического поиска; около 0.1B параметров, максимум 512 токенов.
Ключевые особенности
- Скор для пары query–документ: можно ранжировать кандидатов после первого этапа поиска.
- Обучение на 435 262 сэмплах с полями query, positive, negative и label.
- Контекст до 512 токенов, один выходной score.
- Запуск через sentence-transformers: predict для пар и rank для списка.
- Примеры и обучающие данные — китайские фрагменты новелл; другие языки не заявлены.
Пример
from sentence_transformers import CrossEncoder
model = CrossEncoder("liudev/novel-reranker-gpl-base-v1")
pairs = [["同伴意外获得逆天机缘修为暴涨", "林辰开启系统新手大礼包获得逆天机缘……"], ["选择留在原处暗中积蓄力量", "洛兰希尔在枫叶林中……"]]
scores = model.predict(pairs)
print(scores.shape) # (2,)
Подробнее
Обучение: 435 262 сэмпла, MarginMSELoss, 150 эпох, lr 4e-05, batch 128, bf16.Железо: VRAM не указан; модель около 0.1B параметров, максимальная длина — 512 токенов.
Ограничения: бенчмарков в карточке нет; данные и примеры — китайские новеллы, поддержка других языков не заявлена.










Комментарии