DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic

Это decensored-версия Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, полученная через Heretic v2.0.0.dev0 с Arbitrary-Rank Ablation. Базовая модель — 9B reasoning-файнтюн Qwen3.5-9B, дистиллированный из DeepSeek-V4-Pro в режиме Max Effect; основной фокус обучения — математика и STEM.

✨ Ключевые особенности

• 🔥 Сниженное число отказов: 3/100 против 100/100 у исходной модели по таблице карточки.
• 📚 ARA-абляция затрагивает слои 9–24; указаны параметры preserve_good_behavior_weight 0.8264, steer_bad_behavior_weight 0.0003 и neighbor_count 12.
• 💻 Базовая модель обучена примерно на 250 тыс. примеров по математике и STEM: сначала SFT, затем лёгкий RL-этап через GSPO.
• ✔ KL-дивергенция этой версии — 0.0422; метрика показывает отклонение от поведения исходной модели.
• ❓ Отдельных данных по кодингу не добавляли, но в карточке отмечен небольшой перенос в программирование и tool use.

📌 Пример

Сценарий из карточки — пошаговое решение задач по математике и STEM. Например, промпт: Реши задачу пошагово и объясни каждый шаг. Модель обучали на структурной декомпозиции и построении финального ответа; запуск — через transformers.

Подробнее

Отказы: 3/100 у этой версии против 100/100 у исходной.
KL divergence: 0.0422.
Базовая модель: 9.41B параметров; языки: en, zh, ko, ja, es, ru.
Для этой версии в карточке указаны только отказы и KL; GSM8K и MMLU-Pro относятся к карточке базовой модели.