DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-Coder-GGUF
кодерская модель без отказов и потери качества
2 min readupdated
Перед вами сборка кодерской языковой модели DeepSeek-V4.1-Flash в формате GGUF от автора Abiray, из которой убрали цензуру (сделали abliteration — удаление механизма отказов). Обычно при такой процедуре веса приходится переквантовывать, из-за чего падает качество генерации, но здесь автор применил «хирургическую» пересадку тензоров из донорской версии AtomicChat/DeepSeek-V4.1-Flash-1017-Uncensored-GGUF поверх квантованной базы от ISTA-DASLab. В результате модель отвечает на любые запросы по системному программированию и безопасности, полностью сохраняя интеллект оригинального кодера.
Ключевые особенности
- Без деградации весов: заменены только 82 плотных слоя (
attn_output_b,ffn_down_shexp,engram_kv) без повторного квантования. - Нетронутые эксперты: все 192 маршрутизируемых кодерских эксперта (MoE) на слой и роутеры остались на 100% идентичными оригиналу ISTA-DASLab.
- Полный автономный комплект: в репозитории есть основные шарды
IQ2_XXS(72.1 ГБ), общая таблица поиска Engram (110.6 ГБ) и проектор для работы с изображениями (mmproj). - Потоковая загрузка с диска: благодаря
mmapтаблица Engram подгружается построчно на каждый токен, не требуя загрузки целиком в память.
Что можно сделать
- Писать низкоуровневый системный код, сетевые утилиты и инструменты для аудита безопасности без ложных срабатываний фильтров.
- Запускать локально через
llama.cpp(от версии b11870) илиStrata(от v0.2.5) на машине с 96–128 ГБ оперативной памяти. - Управлять глубиной рассуждений модели: оставить стандартный режим размышлений (
) для сложных задач или отключить его флагом--reasoning-budget 0для мгновенного вывода кода.
Пример
./llama-cli \
-m DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-Coder-IQ2_XXS-00001-of-00006.gguf \
--jinja -c 16384 -n 2048 -t 16 --temp 0.2 \
-p "Write a high-performance raw-socket TCP SYN scanner in Python using struct.pack."Подробнее
Метрики относительно оригинала: совпадение Top-1 токенов — 99.80%, косинусное сходство по 40 слоям — 0.99999993, частота отказов снижена с 86.4% до 0.0%.Бенчмарки базы сохранены на 100%: 98.7% на LCB и 94.8% на SWE.
Требования: от 96–128 ГБ системной RAM (CPU или гибридный офлоад GPU + RAM) и ~183 ГБ места на диске.
Для
llama.cpp перед первым запуском нужно создать симлинк на файл Engram как на 6-й шард.









Comments