Nemotron-3.5-Embed-1B-BF16

NVIDIA представила Nemotron-3.5-Embed-1B-BF16 — мультимодальный эмбеддер на 1,55 млрд параметров для retrieval-задач. Это bi-encoder с Pixtral vision encoder и языковой частью от Nemotron-3-Embed-1B: документ можно подать как изображение, текст или их комбинацию, а запрос — только текстом. На выходе — 2048-мерный вектор для семантического поиска и RAG.

✨ Ключевые особенности

• 🖼 Мультимодальный вход: страницы с текстом, таблицами, графиками и инфографикой — как image, text или image + text.
• 🌎 Мультиязычность: текстовый retrieval оценён на 34 языках, image retrieval — на 18 языках.
• 📚 Контекст до 32 768 токенов; изображение по умолчанию до 1 120 px по длинной стороне, можно увеличить до 1 540 px.
• 💻 Эмбеддинг 2048 измерений; поддерживается усечение до 1024 или 512 измерений с L2-нормализацией.
• 🔥 Дистилляция из Nemotron-3.5-Embed-8B; текстовое пространство совпадает с Nemotron-3-Embed-1B-BF16, добавлен image retrieval.
• ✅ Разрешено коммерческое и некоммерческое использование по лицензии OpenMDW-1.1.

💻 Пример

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("nvidia/Nemotron-3.5-Embed-1B-BF16", device="cuda", model_kwargs={"dtype": "bfloat16", "attn_implementation": "flash_attention_2"})
query = "What is NVIDIA NeMo Framework?"
docs = ["NeMo Framework offers comprehensive functionalities...", {"image": "https://docs.nvidia.com/nemo-framework/user-guide/24.07/_images/nemo-llm-mm-stack.png"}]
qe = model.encode_query([query])
de = model.encode_document(docs)
print(model.similarity(qe, de))

Подробнее

Среди моделей сопоставимого размера заявлен SOTA на мультиязычных и мультимодальных retrieval-бенчмарках; конкретных цифр в карточке нет.
1,55B параметров, BF16; примеры рассчитаны на CUDA GPU и FlashAttention 2. Отдельных требований к VRAM не указано.
Максимальный контекст — 32 768 токенов, включая текст и image tokens.
Лицензия OpenMDW-1.1; базовые Ministral-3-3B/8B — Apache 2.0.