DeepSeek-V4-Pro-9B-Uncensored
версия без цензуры для математики и логики
2 min readupdated
Компактная языковая модель на 9,41 млрд параметров, из которой убрали встроенные фильтры отказов. В основе лежит Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B (файнтюн семейства Qwen3.5, дистиллированный из DeepSeek-V4-Pro для решения задач по математике и естественным наукам), а очистку от цензуры провели с помощью инструмента Heretic методом Arbitrary-Rank Ablation (ARA — точечное удаление направлений отказа в слоях нейросети). В отличие от оригинала, который отклонял 100 из 100 тестовых запросов, эта версия отвечает почти на всё, сохраняя логику рассуждений базы. Подойдёт исследователям и разработчикам локальных ассистентов, которым нужна рассуждающая модель без лишних ограничений.
Ключевые особенности
- Снижение отказов: количество отклонений на контрольном наборе упало со 100/100 у оригинальной модели до 3/100.
- Сохранение качества базы: показатель KL divergence (мера отклонения распределения ответов от исходной модели) составил всего 0.0422, что говорит о минимальном влиянии на основное поведение.
- Мультиязычность: модель поддерживает работу на русском, английском, китайском, японском, корейском и испанском языках.
- Сильная математическая база: унаследовала от родительской версии обучение на ~250 000 примерах по математике и STEM, где та показывала 94.50% на GSM8K.
Что можно сделать
- Локальный чат-бот: развернуть через
transformersили квантизировать в GGUF для локального общения и анализа сложных тем без срабатывания встроенной цензуры. - Тестирование безопасности и выравнивания: использовать как стенд для изучения того, как метод ARA (слои с 9 по 24) меняет поведение LLM при сохранении рассуждений.
Пример
В карточке не приведён готовый скрипт запуска — модель загружается стандартными средствами библиотеки transformers как любая модель архитектуры Qwen3.5. В тестах авторов на 100 провокационных запросах модель дала 97 прямых ответов против 0 у исходного чекпоинта.
Подробнее
Параметры ARA: слои 9–24, preserve_good_behavior_weight = 0.8264, steer_bad_behavior_weight = 0.0003.Метрики децензурирования: Refusals 3/100 (против 100/100 у оригинала), KL divergence 0.0422.
Базовая модель обучалась на ~250K STEM-примерах (GSM8K 94.50%, MMLU-Pro Math 92.40%).










Comments