OmniUE-3B

OmniUE — instruction-conditioned универсальный эмбеддер от Sony, который отображает текст, изображения, видео и аудио в единое 2 048-мерное пространство. Это LoRA-адаптер на базе Qwen2.5-Omni-3B с модулем взаимодействия SAM-Audio + SAM3.

🎯 Ключевые особенности

• 🌐 Единое пространство эмбеддингов для текста, изображений, видео и аудио; выход — L2-нормализованный float32-массив [batch_size, 2048].
• 🎯 Поддержка инструкций: один и тот же контент можно эмбеддить под разные задачи retrieval.
• 🖐 Визуальные промпты через bounding box или points, аудио-промпты через временные span.
• ⚙ В репозитории bundled OmniUE-адаптер, SAM-Audio и SAM3; Qwen2.5-Omni-3B и T5 подгружаются автоматически.
• 🔎 Есть готовый пример text/video retrieval и CLI examples/retrieve.py.

💡 Пример

from omniue import OmniUE
model = OmniUE.from_pretrained(".")
captions = ["A person plays a guitar on a stage.", "A dog runs across a field."]
caption_embeddings = model.encode_text(captions)
query_embedding = model.encode_video("concert.mp4", instruction="Find the matching description.")
indices, scores = model.cosine_topk(query_embedding, caption_embeddings, k=3)
print(indices[0], scores[0])

Подробнее

MMEB-v2-video: OmniUE-3B даёт +5.1 к лучшему baseline того же размера, OmniUE-7B — overall 51.8.
MAEB: OmniUE-7B — лучший overall 53.4. SCaR: прирост +20.7 / +27.4 пункта над лучшим baseline 2B / 7B.
OmniCHOIR: 28.4 Recall@1 при использовании всех трёх промптов.
Ограничения: только для исследований, не для high-stakes решений. Веса OmniUE — CC BY-NC 4.0; SAM-компоненты — под SAM License.