К содержимому
Компьютерное зрение

VisAlloc-9B

мультимодальная модель на базе Qwen3.5-9B

2 мин чтенияобновлено

VisAlloc-9B — это мультимодальная LLM (большая языковая модель, работающая с текстом и изображениями), созданная на основе семейства Qwen/Qwen3.5-9B и обученная с использованием метода визуального самодистилляции VisAlloc. Модель принимает на вход целое изображение и текстовый вопрос, обеспечивая качественные ответы без необходимости вырезания или масштабирования фрагментов во время инференса. Разработка полезна для задач визуального вопросно-ответного анализа (VQA) и точного распознавания деталей на картинках.

Ключевые особенности

  • Full-image inference — работа с полным изображением через стандартный интерфейс мультимодальных моделей без дополнительных инструментов кроппинга.
  • Paired-view self-distillation — обучение с использованием позитивных и негативных кропов для точной настройки внимания модели.
  • Selective token supervision — избирательное взвешивание токенов на основе чувствительности и расхождений распределения учителей.
  • Standard model release — полный набор весов в формате BF16 safetensors, конфигурация, токенизатор и процессор.

Что можно сделать

  • Запустить модель локально с помощью стандартной библиотеки transformers для ответов на вопросы по картинкам.
  • Развернуть модель через vLLM с поддержкой OpenAI-совместимого API для интеграции в сторонние сервисы и боты.
  • Проанализировать визуальный контент в автоматизированных пайплайнах с высокой точностью детализации.

Пример

from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "Kaelyn01/VisAlloc-9B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id, dtype="bfloat16", device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_id)

messages = [{
    "role": "user",
    "content": [
        {"type": "image", "url": "[https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg](https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg)"},
        {"type": "text", "text": "What is the color of the label on the bottle in the background?"},
    ],
}]
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=False,
    eos_token_id=processor.tokenizer.eos_token_id,
    pad_token_id=processor.tokenizer.pad_token_id,
)
print(processor.decode(
    outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True
))
ПодробнееБазовая модель: Qwen/Qwen3.5-9B (9.41 млрд параметров).
Датасет: VisAlloc-6K (5,795 отобранных примеров).
Формат весов: BF16 safetensors.
Лицензия: Apache-2.0.
Обсудить Telegram 1 26

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 18 GB · готовые файлы20 GB
  • FP8 / INT8рекомендуемвеса 8.8 GB10 GB
  • 4-bitвеса 4.9 GB5.9 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2080 Ti · BF16 — от RTX 4090

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Kaelyn01/VisAlloc-9B
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Kaelyn01/VisAlloc-9B --local-dir ~/models/VisAlloc-9B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к VisAlloc-9B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

Qwen/Qwen3.5-9B
  1. Qwen3.5-9B-Baseоснова семьи
  2. Qwen3.5-9B
  3. VisAlloc-9B

Новые посты про версии Qwen3.5-9B-Base — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 6Все на Hugging Face
Слияния 1Все на Hugging Face

О модели

Kaelyn01/VisAlloc-9B
Автор
Kaelyn01
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

261

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

Artsy RLHF

Artsy RLHF