DeepSeek-V4-Flash-0731 Refusal Directions
рубильник цензуры на лету весом 757 КБ
2 мин чтенияобновлено
Обычно для снятия цензуры (abliteration — удаление направлений отказа из весов) приходится скачивать отдельную копию модели на ~157 ГБ и перезапускать сервер при переключении. Этот репозиторий от wswzjbg решает ту же задачу для DeepSeek-V4-Flash-0731 файлом векторов направлений на 757 КБ, который кладётся рядом с оригинальным чекпоинтом. Сила цензуры настраивается в реальном времени через HTTP-запрос (параметр λ): при λ=0 модель побитово совпадает с оригиналом, а при λ=1.5 перестаёт отказываться от запросов без перезагрузки и потери качества. Инструмент пригодится тем, кто разворачивает DeepSeek-V4-Flash на vLLM и хочет гибко управлять фильтрами или проводить честные A/B-тесты на одном инстансе.
Ключевые особенности
- Минимальный вес: файл
refusal_dirs.safetensorsзанимает всего 757 КБ (46 единичных векторов размерности 4096 в float32) вместо второй полной копии на ~157 ГБ. - Плавная регулировка: λ можно менять на лету от 0 (оригинальная модель) до 1.5 (0 отказов) и даже уводить в минус, делая модель осторожнее стоковой.
- Без деградации качества: в отличие от запечённых abliterated-чекпоинтов, которые «перекручивают» направление (~240 %) и роняют скорость, рантайм-проекция сохраняет DSpark acceptance и работу с длинным контекстом.
- Побитовая точность при λ=0: исходные веса модели не меняются, их контрольную сумму sha256 можно сверить с официальным релизом DeepSeek.
Что можно сделать
- Переключать режим прямо в проде: включать и выключать снятие ограничений на уровне одного сервера vLLM одним POST-запросом без обрыва текущих сессий.
- Проводить чистые A/B-тесты: сравнивать поведение стоковой и раскованной версии на одном и том же железе, процессе и нагрузке без дрейфа метрик.
- Тонко подбирать баланс: выставить промежуточное значение λ или отрицательный коэффициент для сценариев, где нужна повышенная сдержанность ответов.
Пример
curl -XPOST localhost:8888/admin/refusal_lambda -d '{"lambda": 1.5}' # без цензуры
curl -XPOST localhost:8888/admin/refusal_lambda -d '{"lambda": 0}' # обратно в стокПодробнее
Метрики при λ=1.5: 0/10 отказов (против 9/10 в стоке), NIAH 30/30 на 32k+128k, tool-calling 8/8, DSpark acceptance 0.5608.Замеры проводились на 2× DGX Spark GB10 (TP=2, vLLM 0.25.2 / 0.27.1 DSpark, контекст до 262k–393k).
Требуется патч для vLLM из связанного GitHub-репозитория; после смены λ prefix cache для нового значения прогревается заново.
Векторы извлечены методом Arditi et al. (NeurIPS 2024) из чекпоинта
cebeuq/DeepSeek-V4-Flash-0731-abliterated.









Комментарии