MetaEncoder v1
мультимодальный энкодер с поиском и решениями
2 мин чтенияобновлено
MetaEncoder v1 от Facebook — модель для feature extraction, которая превращает текст, изображения и видео в эмбеддинги, ищет по корпусу и отвечает на закрытые вопросы. На вход можно подавать строку, PIL-изображение или dict с текстом, картинками и кадрами видео; на выходе — L2-нормализованный вектор размерности 6656, список найденных объектов или ответы с вероятностями. Модель на 28,43 млрд параметров построена вокруг MuseGlimmerModel и требует transformers>=5.15 с muse_glimmer. Обёртка MetaEncoder сама форматирует промпты, а инструкции меняют смысл эмбеддинга — один и тот же вход можно представить по-разному.
Ключевые особенности
- Три вызова:
encodeдля эмбеддингов,retrieveдля ранжирования,decideдля вопросов. - Инструкции задают назначение эмбеддинга; обёртка собирает промпты как при обучении.
- Понимает текст, изображения и видео; видео — до 8 кадров, изображения — до 4096 merged tokens.
- В
decideесть типыnoul,choice(2–26 вариантов) иscore, плюс confidence. - Эмбеддинги L2-нормализованы, размерность 6656; в bf16 модель помещается на одну 80-GB GPU.
Что можно сделать
- Сделать поиск по каталогу документов: кодировать изображения и текст, затем ранжировать через
retrieve. - Размечать запросы и состояния через
decide: да/нет, выбор темы или оценка намерения. - Сравнивать и кластеризовать мультимодальный контент по косинусной близости.
- Встроить в бота или сервис, где нужно отвечать на вопросы по тексту, картинкам и видео.
Пример
from modeling_metaencoder import MetaEncoder
model = MetaEncoder.from_pretrained("facebook/meta-encoder-v1")
vecs = model.encode(["текст", "ещё текст"])
sims = MetaEncoder.similarity(vecs, vecs)
Подробнее
28,43 млрд параметров; в bf16 — одна 80-GB GPU.Эмбеддинг 6656, L2-нормализация; вход до 16 384 токенов, без обрезки.
Изображения — до 4096 merged tokens, видео — до 8 кадров.
Нужен
transformers>=5.15 с muse_glimmer; бенчмарков в карточке нет.









Комментарии