К содержимому
Компьютерное зрение

Baphomet-1.1-4B

эволюционный мердж 8 моделей на базе Qwen3.5-4B

2 мин чтенияобновлено

Компактная мультимодальная языковая модель на 4.66 млрд параметров от автора CloudGoat, созданная для сложных рассуждений, научных вопросов и вызова функций. В основе лежит Qwen/Qwen3.5-4B, к которой методом линейного слияния (merge) добавлены векторы задач (разница весов между дообученной и базовой моделью) от восьми сильных доноров, включая Qwen3.8-4B-Distill и DeepSeek-V4-Pro-Qwen3.5-4B. В отличие от прошлой версии с одинаковыми весами, здесь коэффициенты для каждого донора подобраны алгоритмом эволюционного поиска EvoGM. В результате модель решает задачи ощутимо точнее оригинальной Qwen3.5-4B и тратит почти вдвое меньше токенов на внутренние рассуждения (thinking mode).

Ключевые особенности

  • Эволюционный подбор весов: коэффициенты для 8 моделей-доноров найдены с помощью метода EvoGM на выборке из 110 задач, причём основной вклад внесли Qwen3.8-4B-Distill (0.59), Qwopus3.5-4B-v3 (0.30) и DeepSeek-V4-Pro-Qwen3.5-4B (0.20).
  • Компактные рассуждения: в режиме размышлений средняя длина ответа сократилась до 1 834 токенов против 3 180 у версии 1.0 и 3 983 у базовой модели, а доля обрезанных ответов упала до 10%.
  • Большой контекст и совместимость: архитектура, токенизатор и визуальный энкодер полностью унаследованы от Qwen3.5-4B с поддержкой окна контекста до 262 144 токенов.
  • Умеренный размер: веса занимают 9.3 ГБ в формате bfloat16 (два файла safetensors), что позволяет запускать модель локально или в облаке через vLLM и transformers.

Что можно сделать

  • Встроить в локальный сервер через vLLM: развернуть лёгкий бэкенд с контекстом 32K для ответа на сложные вопросы по науке и инженерии (тесты GPQA-Diamond и MMLU-Pro).
  • Использовать для вызова функций (tool calling): подключить к ИИ-агентам для генерации структурированных запросов к API (подтверждено результатами на бенчмарке BFCL).
  • Применять в задачах с ограниченным бюджетом токенов: заменить более многословные reasoning-модели на 4B параметров там, где важна скорость ответа без потери точности.

Пример

from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "CloudGoat/Baphomet-1.1-4B"
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="auto", device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)
messages = [{"role": "user", "content": [{"type": "text", "text": "Explain task arithmetic in two sentences."}]}]
inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=4096, do_sample=True, temperature=0.6, top_p=0.95, top_k=20)
Подробнее Бенчмарки (180 задач, thinking mode, лимит 8192 токена): общий балл 79.4% против 77.8% у Baphomet-1.0 и 70.0% у Qwen3.5-4B (MMLU-Pro — 81.2%, GPQA-Diamond — 62.0%, BFCL non-live — 94.0%).
Рекомендуемые параметры генерации для режима размышлений: temperature=0.6, top_p=0.95, top_k=20.
Железо и вес: 4.66B параметров, 9.3 ГБ в bf16; поиск весов занял ~13.7 часов на связке Kaggle 2×T4.
Ограничения: визуальный модуль не изменялся и отдельно не тестировался; разница с версией 1.0 (+1.6%) находится в пределах статистической погрешности на выборке из 180 вопросов.
Обсудить Telegram 6 47

Запустится ли?

Запустится в BF16

Влезает без сжатия.

  • BF16веса 8.7 GB · готовые файлы10 GB
  • FP8 / INT8рекомендуемвеса 4.3 GB5.3 GB
  • 4-bitвеса 2.4 GB3.2 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · BF16 — от RTX 2080 Ti

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # CloudGoat/Baphomet-1.1-4B
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download CloudGoat/Baphomet-1.1-4B --local-dir ~/models/Baphomet-1.1-4B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Baphomet-1.1-4B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Дообучение модели

Qwen/Qwen3.5-4B
  1. Qwen3.5-4B-Baseоснова семьи
  2. Qwen3.5-4B
  3. Baphomet-1.1-4B

Новые посты про версии Qwen3.5-4B-Base — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 12Все на Hugging Face
Слияния 1Все на Hugging Face

О модели

CloudGoat/Baphomet-1.1-4B
Автор
CloudGoat
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

476

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Языковые модели

VideoJev-2B

VideoJev-2B