BreadBowl-Embed v1.3
поиск и реранкинг по одним слотам
2 мин чтенияобновлено
BreadBowl-Embed v1.3 — компактная исследовательская модель на 0,76B параметров от dotproductx, которая объединяет первичный поиск документов (retrieval) и их переранжирование (reranking) в едином представлении. В основе лежит база Qwen3.5-0.8B-Base, дообученная на разметке от более крупного кросс-энкодера. В отличие от классических эмбеддингов (один вектор на текст) и ColBERT (вектор на каждый токен), модель сжимает любой запрос или фрагмент текста в фиксированные 16 слотов. При поиске она находит кандидатов по routing-векторам и сразу переранжирует их по закэшированным value-векторам, не прогоняя текст заново через нейросеть.
Ключевые особенности
- Фиксированный размер: каждый документ занимает ровно 16 routing- и 16 value-векторов (размерностью 256) независимо от длины текста.
- Двухэтапный скоринг без второго прогона: итоговая оценка считается как
0.75 * R + 0.25 * Vпо уже сохранённым в индексе слотам. - Прозрачность работы: в v1.3 добавлены инструменты интерпретации, показывающие, какие токены документа попали в слоты и повлияли на итоговый ранг.
- Гибкое хранение: встроенный поисковый индекс поддерживает квантование слотов в
float32,float16илиint8(до 8 256 байт на документ).
Что можно сделать
- Ускорить RAG-пайплайн: заменить связку из отдельного би-энкодера и тяжёлого кросс-энкодера одной моделью с предрасчитанным индексом на CPU или FAISS.
- Отладить качество поиска: использовать методы
explain()иreturn_attention=True, чтобы увидеть, на какие именно слова в чанке среагировал поисковый запрос. - Сэкономить память на больших корпусах: кодировать базу знаний один раз в
int8-индекс и загружать его с диска черезmmap=True.
Пример
from breadbowl_embed import BreadBowl
model = BreadBowl.from_pretrained("dotproductx/breadbowl-embed-v1.3")
documents = model.encode_documents(["Octopuses have three hearts.", "The Pacific is Earth's largest ocean."])
for hit in model.rerank("How many hearts does an octopus have?", documents):
print(f"{hit.score:.4f}", hit.document_index)Подробнее
Язык: английский (en), лимиты длины — до 128 токенов для запроса и до 384 токенов для документа.Обучение: продолжение v1.2-preview, ещё 1 024 шага с размороженным текстовым бэкбоном от кросс-энкодера.
Железо и требования: нужен Python 3.12+ и установка пакета из GitHub; по умолчанию работает на CPU, также протестирован на Apple Silicon (MPS).
Ограничения: исследовательский релиз; сравнение в едином протоколе с single-vector и ColBERT-моделями в карточке ещё не проводилось.










Комментарии