Qwen3.5-0.8B-heretic-LoRA

LoRA-адаптер от bambocher, снимающий отказы с Qwen/Qwen3.5-0.8B с помощью инструмента Heretic v2.0.0. Базовая модель — мультимодальная (текст + изображения) LLM на 0.8B с гибридной архитектурой Gated DeltaNet и gated attention, 24 слоя и нативный контекст 262 144 токена. В линейке есть и варианты 2B и 4B, включая полные файнтюны.

⚙ Ключевые особенности

• 🔄 Ablation затрагивает слои с 1 по 19 — то есть большую часть глубины сети
• 🎯 0 отказов из 100 против 97/100 у оригинальной модели
• 📉 KL divergence всего 0.1412 — распределение базовой модели искажено минимально
• 🧪 Параметры Arbitrary-Rank Ablation открыты: preserve_good_behavior_weight 0.8199, steer_bad_behavior_weight 0.0001, neighbor_count 14
• 🗂 Эксперимент воспроизводим: скрипты и README лежат в каталоге reproduce
• 💻 Формат Transformers, совместим с vLLM, SGLang и KTransformers

💬 Пример

Готового кода запуска в карточке нет, но сценарий простой: адаптер подключается поверх базовой Qwen3.5-0.8B, после чего модель отвечает на запросы, на которые оригинал обычно отказывается. Например, просьба разобрать спорную сцену из книги или описать неоднозначный сюжетный поворот — базовый Qwen3.5-0.8B в 97 случаях из 100 уходит от ответа, а версия heretic отвечает прямо. Учитывая размер, основное применение — прототипирование, дообучение под задачи и исследования.