VultronRetrieverPrime-Qwen3.5-8B-v2
флагманский визуальный ретривер документов
2 мин чтенияобновлено
Модель решает задачу визуального поиска по документам, сканам, таблицам, графикам и отчетам сразу на шести языках (английском, французском, немецком, испанском, итальянском и португальском). Она построена на базе гибридной архитектуры Qwen/Qwen3.5-9B (8.4 млрд параметров) и использует подход late-interaction (ColBERT-style), оценивая страницы по их рендер-изображениям с помощью многовекторных эмбеддингов размерности 4096. В отличие от простых текстовых эмбеддингов, такой подход позволяет точно сопоставлять запросы с таблицами, графиками и элементами верстки. Модель пригодится разработчикам мультимодальных систем RAG, которым важна максимальная точность поиска по сложным документам.
Ключевые особенности
- ViDoRe V3: 67.46 средний nDCG@10 по 8 публичным задачам, превосходя многие аналоги.
- Двунаправленное внимание: все 8 слоев full-attention работают в двух направлениях для лучшего понимания контекста.
- 4096-dim мульти-векторы: детальное представление по токенам (до 1792 визуальных токенов на страницу).
- Эффективность: требует около 17 ГБ VRAM в bf16 и запускается на одном GPU.
Что можно сделать
- Мультимодальный RAG: внедрить в поисковую систему или чат-бота для точного поиска ответов по сканам PDF, отчетам и слайдам.
- Анализ таблиц и схем: извлекать информацию со страниц со сложной версткой, графиками и табличными данными.
- Мультиязычный поиск: индексировать документы на шести европейских языках без потери качества.
- Интеграция через vLLM: развернуть в продакшене с помощью пулингового ранера и пайплайна MaxSim.
Пример
Инициализация модели и кодирование запросов с изображениями с помощью библиотеки Sentence Transformers:
from sentence_transformers import MultiVectorEncoder
model = MultiVectorEncoder("vultr/VultronRetrieverPrime-Qwen3.5-8B-v2")
queries = [
"What is the variable represented on the y-axis of the graph?",
"Total outlay is maximum in which year?",
]
images = [
"[https://huggingface.co/datasets/sentence-transformers/example-documents/resolve/main/doc1.jpg](https://huggingface.co/datasets/sentence-transformers/example-documents/resolve/main/doc1.jpg)",
"[https://huggingface.co/datasets/sentence-transformers/example-documents/resolve/main/doc2.jpg](https://huggingface.co/datasets/sentence-transformers/example-documents/resolve/main/doc2.jpg)",
]
query_embeddings = model.encode_query(queries)
image_embeddings = model.encode_document(images)
scores = model.similarity(query_embeddings, image_embeddings)
print(scores)
Подробнее
• Бенчмарки: ViDoRe V3 (67.46 nDCG@10), MTEB V1 (93.35), V2 (72.91).• Требования: около 17 ГБ VRAM (bf16), поддержка библиотеки transformers >= 5.2.0.
• Ограничения: только для поиска (retriever), для генерации ответов требуется отдельный reader/LLM; поддерживает ровно 6 языков.










Комментарии