pplx-embed-v2-context-0.6b

Это vision-language embedding-модель от perplexity-ai на 0.6B параметров для поиска по тексту, изображениям и визуальным документам. Поддерживает контекстный и неконтекстный режимы, а также контекстное разбиение изображений на горизонтальные полосы. Использует общее embedding-пространство с 1024-мерным MRL-префиксом версии 9B.

🔮 Ключевые особенности

• 🔮 Контекстный и неконтекстный режимы: чанки документа кодируются с учётом окружения или изолированно.
• 🖼 Поддержка изображений: encode_images() делит страницу на горизонтальные полосы и возвращает по эмбеддингу на чанк.
• 📚 Общее пространство с pplx-embed-v2-context-9b: документы можно кодировать одной моделью, а запросы — другой.
• ❗ Для запросов и документов разные методы: encode_queries() для запросов, encode() для чанков документов.
• 💻 Нативные int8-эмбеддинги без нормализации: сравнивайте по cosine similarity или включите normalize_embeddings=True.

💻 Пример

from transformers import AutoModel
model = AutoModel.from_pretrained('perplexity-ai/pplx-embed-v2-context-0.6b', trust_remote_code=True).to('cuda')
docs = [['Curiosity begins in childhood.', 'Science starts with a question.']]
doc_emb = model.encode(docs, normalize_embeddings=True)
q_emb = model.encode_queries([['What drives science?']], normalize_embeddings=True)
scores = doc_emb[0] @ q_emb[0][0]

Подробнее

Бенчмарки: в карточке не приведены, есть отсылка к technical report.
Модель на 0.6B параметров; для изображений доступны параметры chunks, min_pixels и max_pixels.
Нужны transformers>=5.4.0, torch, numpy, safetensors, tqdm, Pillow и torchvision; для быстрого linear-attention — flash-linear-attention и causal-conv1d.
Ограничение: API не обрезает текст — длинные документы нужно делить или обрезать до кодирования.