UltraBERT-150M reranker
компактный реранкер с контекстом 32K
2 мин чтенияобновлено
Модель решает задачу переранжирования документов (reranking — повторная сортировка найденных текстов по степени их соответствия запросу) для английского языка. Она принимает пару «запрос + документ» и выдаёт единую числовую оценку релевантности: чем выше значение, тем ближе документ к началу выдачи. Реранкер создан автором ericlewis на базе двунаправленного энкодера UltraBERT-150M (151,6 млн параметров, 24 слоя) путём дистилляции на 5 миллионах пар, размеченных более крупной моделью-учителем mxbai-rerank-large-v2. В отличие от аналогов такого же размера вроде Ettin-150M, новинка обходит их по метрикам качества и поддерживает длинный контекст до 32 768 токенов. Инструмент пригодится разработчикам поисковых систем и RAG-пайплайнов (систем генерации ответов с опорой на базу знаний), которым нужен быстрый и лёгкий второй этап фильтрации документов.
Ключевые особенности
- Длинный контекст: обрабатывает пары «запрос + документ» длиной до 32 768 токенов без обрезки длинных текстов.
- Гибкая точность вычислений: весы сохранены в FP32, но вызов
model.use_bf16()переводит энкодер в BF16 при сохранении головы в FP32, ускоряя работу в 2,45 раза почти без потери точности. - Сильные показатели: на пилотном тесте из трёх датасетов BEIR (673 запроса) модель набрала 64,32 macro nDCG@10 против 62,39 у Ettin-150M и 53,59 у классического BM25.
- Чистая валидация и лицензия: обучена на 5 млн уникальных пар без пересечения запросов с проверочной выборкой и распространяется под свободной лицензией Apache-2.0.
Что можно сделать
- Улучшить поиск в RAG-системах: поставить модель вторым этапом после быстрого первичного поиска (например, BM25), чтобы отсортировать топ-100 кандидатов и передать в LLM только самые точные фрагменты.
- Ранжировать длинные документы: использовать окно в 32k токенов для оценки целых научных статей, финансовых отчётов или объёмных страниц документации на английском языке.
- Запускать на скромном железе: благодаря размеру в 150M параметров и режиму BF16 переранжировать сотни пар документов на одном GPU с минимальными задержками.
Пример
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
model_id = "ericlewis/ultrabert-150m-reranker"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForSequenceClassification.from_pretrained(model_id, trust_remote_code=True).eval().to("cuda")
model.use_bf16()
batch = tokenizer(["Red Planet?"] * 2, ["Mars is the Red Planet.", "Saturn has rings."], padding=True, truncation=True, max_length=32768, return_tensors="pt").to("cuda")
scores = model(**batch).logits.squeeze(-1).tolist()
Подробнее
Метрики nDCG@10 (FP32): SciFact — 76,19, NFCorpus — 35,34, TREC-COVID — 81,43 (среднее macro — 64,32; в режиме BF16 — 64,29).Требования и запуск: требует
trust_remote_code=True и Transformers 5.17.0+; на GPU NVIDIA GB10 режим BF16 даёт ускорение 2,45× относительно FP32.Ограничения: возвращает некалиброванные логиты (сигмоиду применять не нужно); глобальное внимание на 32k токенах имеет квадратичную вычислительную сложность.










Комментарии