Qwen3-4B Instruct 2507 Abliterated

Это uncensored-версия Qwen3-4B-Instruct-2507 на 4,02 млрд параметров от huihui-ai, выложенная в репозитории Mitroshenkov87. В карточке её называют грубым proof-of-concept: отказы убирают методом abliteration без TransformerLens, причём абляция выполнена новым, более быстрым методом.

🔤 Ключевые особенности

• ➖ Убраны отказы: abliteration вместо стандартного safety-тюнинга.
• ➕ Базовая модель — Qwen3-4B-Instruct-2507, около 4,02 млрд параметров.
• ➗ Запуск через transformers; в примере — 4-bit BitsAndBytes и device_map="balanced".
• ✖ Есть готовый вариант для Ollama в квантовании q4_K_M.
• 🟰 Стриминг ответов и подсчёт метрик в примере кода.

🔤 Пример

ollama run huihui_ai/qwen3-abliterated:4b-instruct-2507-q4_K_M

Подробнее

Бенчмарков в карточке нет.
VRAM не указана; пример рассчитан на 4-bit загрузку и device_map="balanced".
Фильтры безопасности сильно снижены: возможны чувствительные и спорные ответы.
Авторы советуют research/тесты и ручную проверку, не production и не публичные приложения.