Kitchoon-Final-26B-A4B
RP-модель с более чистым слогом
2 min readupdated
Kitchoon-Final-26B-A4B от SubMaroon — финальная версия RP- и ERP-ориентированной серии Kitchoon на базе V5.1-Clean-26B-A4B (~25,8B параметров). В неё при силе 0.7 вшита LoRA Anthropos v3: она добавляет более чистую лексику и разнообразные swipe, не меняя thinking и запрошенное форматирование.
Ключевые особенности
- LoRA Anthropos v3 обучена специально под V5.1 и вшита в слои 10–29: q/k/v/o + dense MLP.
- Меньше em dash и шаблонных фраз, swipe меньше пересекаются словами и реже начинаются одинаково.
- Thinking не смешивается: reasoning должен оставаться как у V5.1; в тестах открывался и закрывался всегда.
- Явные правила формата из карточки сохраняются: без звёздочек, до трёх абзацев, заголовок
[Time | Place]. - MoE-эксперты, router, embeddings, lm_head и vision tower не менялись.
Пример
Сценарий: карточка персонажа с правилом формата [Time | Place]. Рекомендуемые настройки — temperature 0.85, Min-P 0.05, repetition penalty / DRY off. Ответы длинные (~400 слов), поэтому задайте не менее 900 токенов и избегайте агрессивного truncation sampling.
Подробнее
На held-out текстах perplexity упала с 80 до 36 при полной силе LoRA; тире — ~2.7 против ~7.2 на 1000 слов, шаблонных фраз — ~5 против ~10.Thinking открывался и закрывался во всех 16 длинных прогонах без reasoning budget; рассуждения ~на 6% длиннее.
Ограничения: сюжетные повороты в swipe почти не меняются, структура ответа остаётся Gemma-подобной, часть характерных фраз Gemma сохраняется.
Обучение: LoRA rank 32 / alpha 64, слои 10–29, 1 эпоха (108 шагов), baked at 0.7.










Comments