VisAlloc-9B
мультимодальная модель на базе Qwen3.5-9B
2 мин чтенияобновлено
VisAlloc-9B — это мультимодальная LLM (большая языковая модель, работающая с текстом и изображениями), созданная на основе семейства Qwen/Qwen3.5-9B и обученная с использованием метода визуального самодистилляции VisAlloc. Модель принимает на вход целое изображение и текстовый вопрос, обеспечивая качественные ответы без необходимости вырезания или масштабирования фрагментов во время инференса. Разработка полезна для задач визуального вопросно-ответного анализа (VQA) и точного распознавания деталей на картинках.
Ключевые особенности
- Full-image inference — работа с полным изображением через стандартный интерфейс мультимодальных моделей без дополнительных инструментов кроппинга.
- Paired-view self-distillation — обучение с использованием позитивных и негативных кропов для точной настройки внимания модели.
- Selective token supervision — избирательное взвешивание токенов на основе чувствительности и расхождений распределения учителей.
- Standard model release — полный набор весов в формате BF16 safetensors, конфигурация, токенизатор и процессор.
Что можно сделать
- Запустить модель локально с помощью стандартной библиотеки
transformersдля ответов на вопросы по картинкам. - Развернуть модель через vLLM с поддержкой OpenAI-совместимого API для интеграции в сторонние сервисы и боты.
- Проанализировать визуальный контент в автоматизированных пайплайнах с высокой точностью детализации.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "Kaelyn01/VisAlloc-9B"
model = AutoModelForImageTextToText.from_pretrained(
model_id, dtype="bfloat16", device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_id)
messages = [{
"role": "user",
"content": [
{"type": "image", "url": "[https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg](https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg)"},
{"type": "text", "text": "What is the color of the label on the bottle in the background?"},
],
}]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=512,
do_sample=False,
eos_token_id=processor.tokenizer.eos_token_id,
pad_token_id=processor.tokenizer.pad_token_id,
)
print(processor.decode(
outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True
))
Подробнее
Базовая модель: Qwen/Qwen3.5-9B (9.41 млрд параметров).Датасет: VisAlloc-6K (5,795 отобранных примеров).
Формат весов: BF16 safetensors.
Лицензия: Apache-2.0.










Комментарии