Molmo 7B-D
открытая мультимодальная модель от Allen Institute for AI
2 мин чтенияобновлено
Molmo 7B-D — это открытая модель компьютерного зрения и обработки текста (vision-language model), разработанная Allen Institute for AI на базе языковой модели Qwen2-7B и визуального бэкэнда OpenAI CLIP. Модель обучена на тщательно отобранном датасете PixMo из 1 миллиона изображений и текстовых пар. На практике она способна детально описывать картинки, отвечать на вопросы по графиков и документам, демонстрируя производительность между GPT-4V и GPT-4o. Модель отлично подойдет исследователям и разработчикам, которым нужна мощная открытая альтернатива коммерческим мультимодальным системам.
Ключевые особенности
- Базируется на связке Qwen2-7B и OpenAI CLIP для глубокого понимания визуального контента.
- Обучена на датасете PixMo, содержащем 1 миллион тщательно отобранных пар картинок и текстов.
- Показывает результаты на академических бенчмарках и в человеческих оценках на уровне между GPT-4V и GPT-4o.
- Поддерживает эффективный запуск в экосистеме transformers и совместима с библиотекой vLLM.
Что можно сделать
- Применить модель для детального анализа изображений, графиков и инфографики в локальных скриптах.
- Интегрировать модель в пайплайны обработки документов и OCR с визуальным контекстом.
- Запустить инференс с оптимизацией через bfloat16 или autocast для снижения требований к памяти.
- Развернуть модель в составе сервисов или чат-ботов, поддерживающих мультимодальные запросы.
Пример
from transformers import AutoModelForCausalLM, AutoProcessor, GenerationConfig
from PIL import Image
import requests
processor = AutoProcessor.from_pretrained(
'allenai/Molmo-7B-D-0924',
trust_remote_code=True,
torch_dtype='auto',
device_map='auto'
)
model = AutoModelForCausalLM.from_pretrained(
'allenai/Molmo-7B-D-0924',
trust_remote_code=True,
torch_dtype='auto',
device_map='auto'
)
inputs = processor.process(
images=[Image.open(requests.get("[https://picsum.photos/id/237/536/354](https://picsum.photos/id/237/536/354)", stream=True).raw)],
text="Describe this image."
)
inputs = {k: v.to(model.device).unsqueeze(0) for k, v in inputs.items()}
output = model.generate_from_batch(
inputs,
GenerationConfig(max_new_tokens=200, stop_strings="<|endoftext|>"),
tokenizer=processor.tokenizer
)
generated_tokens = output[0,inputs['input_ids'].size(1):]
generated_text = processor.tokenizer.decode(generated_tokens, skip_special_tokens=True)
print(generated_text)Подробнее
Бенчмарки: Средний балл на 11 академических бенчмарках составляет 77.3, рейтинг человеческих предпочтений Elo — 1056.Ограничения: Модель может испытывать трудности с прозрачными изображениями (рекомендуется добавлять фоновое заполнение).
Детали обучения: Использует веса Qwen2-7B и визуальный бэкэнд OpenAI CLIP, лицензия Apache 2.0.










Комментарии