Qwen3.81-27B
слияние двух файнтюнов Qwen3
1 мин чтенияобновлено
Модель представляет собой 50/50 линейное усреднение параметров двух версий на базе Qwen3.5: агентно-терминального DaisyRose-27B и мультимодального sabi-noema с гибридным вниманием. Благодаря ортогональности направлений дообучения, слияние сохраняет около 100% комбинированного сигнала без потери знаний. Модель весит 54.7 ГБ в формате bf16 и отлично подходит для задач программирования, рассуждений и работы с изображениями.
Ключевые особенности
- Ортогональное слияние: направления дообучения двух базовых моделей перпендикулярны, что позволяет успешно объединить их опыт.
- Мультимодальность: полностью сохранена архитектура обработки изображений от базовой линейки Qwen3.5.
- Режим рассуждений: поддержка шаблона чата с встроенным глубоким мышлением (thinking format).
- Вариант квантования: доступна NVFP4 версия (19 ГБ) для запуска на одной GPU.
Что можно сделать
- Запуск через vLLM: развернуть локальный сервер для работы с моделью и длинным контекстом.
- Решение задач в терминале: использовать сильные агентные навыки, унаследованные от DaisyRose.
- Мультимодальный анализ: обрабатывать запросы, совмещающие текст и изображения, благодаря гибридной архитектуре.
Пример
vllm serve vince62s/Qwen3.81-27B \
--served-model-name qwen3.81 \
--reasoning-parser qwen3 \
--max-model-len 32768Подробнее
• GPQA Diamond: 43.9% (loglikelihood)• Требования к VRAM: ~55 ГБ+ для bf16 версии
• Параметры: 27.36 млрд параметров, формат safetensors (3 шарда)
• Семплирование: temperature 1.0, top_p 0.95










Комментарии