ColQwen3.5-4.5B-v4
поиск по визуальным документам на базе Qwen3.5-4B
2 мин чтенияобновлено
Модель ColQwen3.5-4.5B-v4 от автора athrael-soju решает задачу визуального поиска по документам (visual document retrieval): она сопоставляет текстовый запрос напрямую со страницами PDF, графиками и сканами без предварительного распознавания текста. В основе лежит архитектура Qwen3.5-4B с двунаправленным вниманием (bidirectional attention), а сама сеть насчитывает 4.54 млрд параметров и работает по принципу позднего взаимодействия (late-interaction) — каждый запрос и страница превращаются в набор токен-векторов, релевантность которых оценивается через метрику MaxSim. От базовой модели решение отличается специализацией под многовекторный поиск и поддержкой Matryoshka-эмбеддингов (метода, позволяющего обрезать векторы без сильной потери точности). Инструмент пригодится разработчикам мультимодальных RAG-систем и корпоративных поисковиков по сложным отчётам.
Ключевые особенности
- Гибкая размерность векторов: проекция обучена с префиксами Matryoshka на 64, 128, 256, 512, 1024 и 2048 измерений, что позволяет уменьшить размер индекса от 2 до 32 раз.
- Многостадийная дистилляция: версия v4 обучена с помощью более крупной модели-учителя и реранкера, отсеивающего ложноотрицательные примеры, через объединение LoRA-адаптеров.
- Поддержка шести языков: в метаданных заявлена работа с английским, французским, немецким, испанским, итальянским и португальским языками.
- Открытая лицензия: модель распространяется под лицензией Apache 2.0 и совместима с библиотекой
sentence-transformers.
Что можно сделать
- Встроить в пайплайн мультимодального RAG для поиска ответов по финансовым, медицинским и научным отчётам со сложными таблицами и диаграммами.
- Собрать компактный векторный индекс для больших архивов сканов, обрезав векторы до 64 или 256 измерений ради экономии памяти.
- Использовать для ранжирования страниц документов по текстовым вопросам без промежуточного OCR-парсинга.
Пример
from sentence_transformers import MultiVectorEncoder
model = MultiVectorEncoder("athrael-soju/ColQwen3.5-4.5B-v4")
queries = ["Total outlay is maximum in which year?"]
images = ["[https://huggingface.co/datasets/sentence-transformers/example-documents/resolve/main/doc2.jpg](https://huggingface.co/datasets/sentence-transformers/example-documents/resolve/main/doc2.jpg)"]
q_emb = model.encode_query(queries)
i_emb = model.encode_document(images)
scores = model.similarity(q_emb, i_emb)Подробнее
Бенчмарки (nDCG, 2048-d, 1792 визуальных токена): ViDoRe V1 Mean — 93.09 (nDCG@5), ViDoRe V2 Mean — 69.78 (nDCG@5), ViDoRe V3 Mean — 67.14 (nDCG@10).Требования к ПО: нужны
transformers>=5.2.0 и sentence-transformers[image]>=6.0.0.Ограничения: старые версии
transformers игнорируют флаг is_causal: false и выдают некорректные эмбеддинги.Формат весов: BF16, 4.5B параметров.










Комментарии