Qwen3.8-27B Merge
TIES-микс трёх файнтюнов
2 мин чтенияобновлено
Это готовый чекпоинт на 27,78 млрд параметров, собранный через mergekit методом TIES на базе Qwen/Qwen3.8-27B. В микс вошли Qwopus3.8-27B-Coder-Flash, Swift-1.5-Qwen3.8-27b и ThinkingCap-Qwen3.8-27B с весами 0.60, 0.25 и 0.15. На выходе — одна модель в формате transformers, которую можно сравнить с базой и исходными файнтюнами. Пригодится тем, кто экспериментирует с локальными LLM и разбирается в слияниях моделей.
Ключевые особенности
- Собран методом TIES на базе Qwen/Qwen3.8-27B.
- В конфиге заданы density 0.75 / 0.45 / 0.35 и веса 0.60 / 0.25 / 0.15 для трёх доноров.
- 27,78 млрд параметров, dtype bfloat16, библиотека transformers.
- Включены normalize: true и int8_mask: true.
- Собственных бенчмарков в карточке нет — только конфигурация слияния.
Что можно сделать
- Запустить модель через transformers и сравнить ответы с базовой Qwen3.8-27B.
- Посмотреть, как TIES-микс распределяет вклад кодерского, Swift- и ThinkingCap-вариантов.
- Повторить слияние в mergekit с другими весами и density.
- Прогнать свои промпты и оценить поведение микса на конкретных задачах.
Пример
merge_method: ties
base_model: Qwen/Qwen3.8-27B
models:
- model: Jackrong/Qwopus3.8-27B-Coder-Flash
parameters: {density: 0.75, weight: 0.60}
- model: ukisai/Swift-1.5-Qwen3.8-27b
parameters: {density: 0.45, weight: 0.25}
- model: bottlecapai/ThinkingCap-Qwen3.8-27B
parameters: {density: 0.35, weight: 0.15}Подробнее
Метод слияния: TIES, база — Qwen/Qwen3.8-27B.Параметры: 27,78 млрд, dtype bfloat16.
Веса доноров: 0.60 / 0.25 / 0.15; density: 0.75 / 0.45 / 0.35.
Бенчмарки и требования к VRAM в карточке не указаны.










Комментарии