DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-oQ6e
разблокированная 9B-модель с логикой DeepSeek
2 мин чтенияобновлено
Это версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B (9,41 млрд параметров), из которой убрали встроенные отказы отвечать на сложные или чувствительные запросы. Базовая модель построена на архитектуре Qwen3.5-9B и дообучена методом дистилляции (переноса знаний от более крупной нейросети) на ~250 тыс. примеров по математике и естественным наукам от DeepSeek-V4-Pro. Автор chevron7 применил инструмент Heretic v2.0.0.dev0 (метод Arbitrary-Rank Ablation — точечное удаление направлений отказа в слоях нейросети), чтобы сохранить рассуждающие способности модели, но убрать цензуру. Подойдёт разработчикам и энтузиастам, которым нужна компактная локальная LLM с поддержкой русского языка для свободной генерации текста, анализа и решения задач без шаблонных отказов.
Ключевые особенности
- Почти без отказов: количество отказов на тестовом наборе снизилось со 100/100 у оригинала до 3/100.
- Минимальное искажение весов: расхождение Кульбака — Лейблера (KL divergence, мера отклонения от исходной модели) составило всего 0,0422, что позволяет сохранить качество ответов базы.
- Сильная логика и математика: унаследовала от базовой модели пошаговое рассуждение в задачах по математике, физике и химии, а также базовый перенос навыков в программирование.
- Мультиязычность: заявлена поддержка русского, английского, китайского, корейского, японского и испанского языков.
Что можно сделать
- Локальный ассистент без фильтров: подключить через библиотеку
transformersдля брейншторминга, ролевых сценариев и работы с чувствительными темами, где оригинальная модель выдаёт отказ. - Решение математических и STEM-задач: использовать для пошагового разбора задач по алгебре, физике и химии в локальных учебных или исследовательских ботах.
- Интеграция в пайплайны обработки текста: применять для суммаризации, классификации и генерации текста на русском и английском языках без необходимости обходить системные фильтры.
Пример
В карточке модели нет готового кода запуска, но модель совместима со стандартной библиотекой transformers для задачи text-generation. На контрольном тесте в 100 провокационных или чувствительных запросов оригинальная версия отклоняла 100 из 100, тогда как эта сборка отвечает на 97 из 100 запросов, сохраняя стиль рассуждений базовой модели.
Подробнее
Отказы (Refusals): 3/100 против 100/100 у базовой модели; KL divergence: 0,0422.Параметры абляции (ARA): затронуты слои с 9 по 24 (preserve_good_behavior_weight = 0.8264, neighbor_count = 12).
Метрики базовой модели: GSM8K — 94,50% (среднее по 4 прогонам, NVFP4), MMLU-Pro Math — 92,40%, средний MMLU-Pro — 90,53%.
Ограничения базы: в обучении дистилляции не использовались специализированные данные по программированию, поэтому навыки кода ограничены.










Комментарии