Kitchoon-Final-26B-A4B

Kitchoon-Final-26B-A4B от SubMaroon — финальная версия RP- и ERP-ориентированной серии Kitchoon на базе V5.1-Clean-26B-A4B (~25,8B параметров). В неё при силе 0.7 вшита LoRA Anthropos v3: она добавляет более чистую лексику и разнообразные swipe, не меняя thinking и запрошенное форматирование.

🔥 Ключевые особенности

• 🔥 LoRA Anthropos v3 обучена специально под V5.1 и вшита в слои 10–29: q/k/v/o + dense MLP.
• 🧐 Меньше em dash и шаблонных фраз, swipe меньше пересекаются словами и реже начинаются одинаково.
• 🫡 Thinking не смешивается: reasoning должен оставаться как у V5.1; в тестах открывался и закрывался всегда.
• 🎁 Явные правила формата из карточки сохраняются: без звёздочек, до трёх абзацев, заголовок [Time | Place].
• 🚀 MoE-эксперты, router, embeddings, lm_head и vision tower не менялись.

😎 Пример

Сценарий: карточка персонажа с правилом формата [Time | Place]. Рекомендуемые настройки — temperature 0.85, Min-P 0.05, repetition penalty / DRY off. Ответы длинные (~400 слов), поэтому задайте не менее 900 токенов и избегайте агрессивного truncation sampling.

Подробнее

На held-out текстах perplexity упала с 80 до 36 при полной силе LoRA; тире — ~2.7 против ~7.2 на 1000 слов, шаблонных фраз — ~5 против ~10.
Thinking открывался и закрывался во всех 16 длинных прогонах без reasoning budget; рассуждения ~на 6% длиннее.
Ограничения: сюжетные повороты в swipe почти не меняются, структура ответа остаётся Gemma-подобной, часть характерных фраз Gemma сохраняется.
Обучение: LoRA rank 32 / alpha 64, слои 10–29, 1 эпоха (108 шагов), baked at 0.7.