К содержимому
Другое

UltraBERT-150M reranker

компактный реранкер с контекстом 32K

2 мин чтенияобновлено

Модель решает задачу переранжирования документов (reranking — повторная сортировка найденных текстов по степени их соответствия запросу) для английского языка. Она принимает пару «запрос + документ» и выдаёт единую числовую оценку релевантности: чем выше значение, тем ближе документ к началу выдачи. Реранкер создан автором ericlewis на базе двунаправленного энкодера UltraBERT-150M (151,6 млн параметров, 24 слоя) путём дистилляции на 5 миллионах пар, размеченных более крупной моделью-учителем mxbai-rerank-large-v2. В отличие от аналогов такого же размера вроде Ettin-150M, новинка обходит их по метрикам качества и поддерживает длинный контекст до 32 768 токенов. Инструмент пригодится разработчикам поисковых систем и RAG-пайплайнов (систем генерации ответов с опорой на базу знаний), которым нужен быстрый и лёгкий второй этап фильтрации документов.

Ключевые особенности

  • Длинный контекст: обрабатывает пары «запрос + документ» длиной до 32 768 токенов без обрезки длинных текстов.
  • Гибкая точность вычислений: весы сохранены в FP32, но вызов model.use_bf16() переводит энкодер в BF16 при сохранении головы в FP32, ускоряя работу в 2,45 раза почти без потери точности.
  • Сильные показатели: на пилотном тесте из трёх датасетов BEIR (673 запроса) модель набрала 64,32 macro nDCG@10 против 62,39 у Ettin-150M и 53,59 у классического BM25.
  • Чистая валидация и лицензия: обучена на 5 млн уникальных пар без пересечения запросов с проверочной выборкой и распространяется под свободной лицензией Apache-2.0.

Что можно сделать

  • Улучшить поиск в RAG-системах: поставить модель вторым этапом после быстрого первичного поиска (например, BM25), чтобы отсортировать топ-100 кандидатов и передать в LLM только самые точные фрагменты.
  • Ранжировать длинные документы: использовать окно в 32k токенов для оценки целых научных статей, финансовых отчётов или объёмных страниц документации на английском языке.
  • Запускать на скромном железе: благодаря размеру в 150M параметров и режиму BF16 переранжировать сотни пар документов на одном GPU с минимальными задержками.

Пример

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_id = "ericlewis/ultrabert-150m-reranker"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForSequenceClassification.from_pretrained(model_id, trust_remote_code=True).eval().to("cuda")
model.use_bf16()

batch = tokenizer(["Red Planet?"] * 2, ["Mars is the Red Planet.", "Saturn has rings."], padding=True, truncation=True, max_length=32768, return_tensors="pt").to("cuda")
scores = model(**batch).logits.squeeze(-1).tolist()
ПодробнееМетрики nDCG@10 (FP32): SciFact — 76,19, NFCorpus — 35,34, TREC-COVID — 81,43 (среднее macro — 64,32; в режиме BF16 — 64,29).
Требования и запуск: требует trust_remote_code=True и Transformers 5.17.0+; на GPU NVIDIA GB10 режим BF16 даёт ускорение 2,45× относительно FP32.
Ограничения: возвращает некалиброванные логиты (сигмоиду применять не нужно); глобальное внимание на 32k токенах имеет квадратичную вычислительную сложность.
Обсудить Telegram 0 36

Запустится ли?

Запустится в F32

Влезает без сжатия.

  • F32веса 0.6 GB · готовые файлы1.1 GB
  • BF16веса 0.3 GB0.8 GB
  • FP8 / INT8рекомендуемвеса 0.1 GB0.7 GB
  • 4-bitвеса 0.1 GB0.6 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · F32 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # ericlewis/ultrabert-150m-reranker
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download ericlewis/ultrabert-150m-reranker --local-dir ~/models/ultrabert-150m-reranker
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к ultrabert-150m-reranker
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

dmis-lab/UltraBERT-150M

Новые посты про версии UltraBERT-150M — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 3Все на Hugging Face
Дообучения 12Все на Hugging Face
Слияния 1Все на Hugging Face

О модели

ericlewis/ultrabert-150m-reranker
Автор
ericlewis
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

360

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии