PersonalMix35
мердж четырёх 24B-моделей на базе Magidonia
2 min readupdated
PersonalMix35 — языковая модель (LLM) на 23,57 млрд параметров от автора ReallyRealPerson, созданная для генерации текста. Модель представляет собой мердж (объединение весов нескольких обученных моделей) на базе grayarea/Magidonia-24B-v4.3-heretic-v1.2 с добавлением ещё трёх 24B-чекпоинтов: BereavedCompound-v1.0-24b, MS3.2-PaintedFantasy-v4.1-24B и Cyberdonia-24B-v11. Объединение выполнено через утилиту mergekit методом DELLA, который позволяет смешивать параметры моделей без потери их сильных сторон. Подойдёт энтузиастам локального запуска LLM на 24B параметров для творческого письма, диалогов и ролевых сценариев.
Ключевые особенности
- Объединение четырёх моделей: в основу легла
Magidonia-24B-v4.3-heretic-v1.2, к которой подмешаны веса трёх тематических 24B-моделей с разными коэффициентами плотности и веса. - Метод слияния DELLA: при сборке использовался алгоритм DELLA с включённым рескейлингом (
rescale: true) и отключённой нормализацией (normalize: false). - Сохранение токенизатора базы: у модели
Cyberdonia-24B-v11обнулены веса слоёвembed_tokensиlm_head, а сам токенизатор взят напрямую от базовой Magidonia. - Точность bfloat16: веса сохранены в формате
bfloat16, стандартном для запуска через библиотекуtransformersи локальные бэкенды.
Что можно сделать
- Локальный чат и ролевые сценарии: развернуть модель в интерфейсах вроде SillyTavern или text-generation-webui для интерактивных диалогов и ведения историй.
- Генерация художественных текстов: использовать сочетание фэнтезийной и киберпанк-баз (
PaintedFantasyиCyberdonia) для написания черновиков, лора и сцен. - Эксперименты с квантованием: перевести модель в форматы GGUF или EXL2 для запуска на потребительских видеокартах с ограниченным объёмом памяти.
Пример
Пример конфигурации mergekit, с помощью которой была собрана модель (база — Magidonia-24B-v4.3-heretic-v1.2, метод — della, тип данных — bfloat16):
merge_method: della
base_model: grayarea/Magidonia-24B-v4.3-heretic-v1.2
tokenizer_source: base
parameters:
rescale: true
normalize: false
dtype: bfloat16
Подробнее
Объём параметров: 23,57B (формат bfloat16, около 47 ГБ в несжатом виде).Состав мерджа: база Magidonia-24B-v4.3-heretic-v1.2 + BereavedCompound-v1.0-24b (вес 0.3, плотность 0.2), MS3.2-PaintedFantasy-v4.1-24B (вес 0.2, плотность 0.5) и Cyberdonia-24B-v11 (вес 0.2, плотность 0.6).
Бенчмарки и системные требования в карточке модели не приведены.










Comments