Baphomet-1.1-4B
эволюционный мердж 8 моделей на базе Qwen3.5-4B
2 min readupdated
Компактная мультимодальная языковая модель на 4.66 млрд параметров от автора CloudGoat, созданная для сложных рассуждений, научных вопросов и вызова функций. В основе лежит Qwen/Qwen3.5-4B, к которой методом линейного слияния (merge) добавлены векторы задач (разница весов между дообученной и базовой моделью) от восьми сильных доноров, включая Qwen3.8-4B-Distill и DeepSeek-V4-Pro-Qwen3.5-4B. В отличие от прошлой версии с одинаковыми весами, здесь коэффициенты для каждого донора подобраны алгоритмом эволюционного поиска EvoGM. В результате модель решает задачи ощутимо точнее оригинальной Qwen3.5-4B и тратит почти вдвое меньше токенов на внутренние рассуждения (thinking mode).
Ключевые особенности
- Эволюционный подбор весов: коэффициенты для 8 моделей-доноров найдены с помощью метода EvoGM на выборке из 110 задач, причём основной вклад внесли
Qwen3.8-4B-Distill(0.59),Qwopus3.5-4B-v3(0.30) иDeepSeek-V4-Pro-Qwen3.5-4B(0.20). - Компактные рассуждения: в режиме размышлений средняя длина ответа сократилась до 1 834 токенов против 3 180 у версии 1.0 и 3 983 у базовой модели, а доля обрезанных ответов упала до 10%.
- Большой контекст и совместимость: архитектура, токенизатор и визуальный энкодер полностью унаследованы от
Qwen3.5-4Bс поддержкой окна контекста до 262 144 токенов. - Умеренный размер: веса занимают 9.3 ГБ в формате
bfloat16(два файлаsafetensors), что позволяет запускать модель локально или в облаке черезvLLMиtransformers.
Что можно сделать
- Встроить в локальный сервер через vLLM: развернуть лёгкий бэкенд с контекстом 32K для ответа на сложные вопросы по науке и инженерии (тесты GPQA-Diamond и MMLU-Pro).
- Использовать для вызова функций (tool calling): подключить к ИИ-агентам для генерации структурированных запросов к API (подтверждено результатами на бенчмарке BFCL).
- Применять в задачах с ограниченным бюджетом токенов: заменить более многословные reasoning-модели на 4B параметров там, где важна скорость ответа без потери точности.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "CloudGoat/Baphomet-1.1-4B"
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="auto", device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)
messages = [{"role": "user", "content": [{"type": "text", "text": "Explain task arithmetic in two sentences."}]}]
inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=4096, do_sample=True, temperature=0.6, top_p=0.95, top_k=20)
Подробнее
Бенчмарки (180 задач, thinking mode, лимит 8192 токена): общий балл 79.4% против 77.8% у Baphomet-1.0 и 70.0% у Qwen3.5-4B (MMLU-Pro — 81.2%, GPQA-Diamond — 62.0%, BFCL non-live — 94.0%).Рекомендуемые параметры генерации для режима размышлений:
temperature=0.6, top_p=0.95, top_k=20.Железо и вес: 4.66B параметров, 9.3 ГБ в
bf16; поиск весов занял ~13.7 часов на связке Kaggle 2×T4.Ограничения: визуальный модуль не изменялся и отдельно не тестировался; разница с версией 1.0 (+1.6%) находится в пределах статистической погрешности на выборке из 180 вопросов.










Comments