DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF
готовые кванты без цензуры для локального запуска
2 min read
Набор статических GGUF-квантов (сжатых версий весов для запуска на обычных видеокартах и процессорах) от известного квантователя mradermacher. В основе лежит модель xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic — версия без цензуры, построенная на архитектуре Qwen3.5 с 9 млрд параметров и поддержкой русского языка. В репозиторий также добавлены мультимодальные проекторы (mmproj), поэтому модель можно запускать не только для текста, но и для работы с изображениями.
Ключевые особенности
- Широкий выбор квантов: доступны варианты от компактного
Q2_K(4.0 ГБ) до максимального по качествуQ8_0(9.9 ГБ) и полногоf16(18.5 ГБ). - Мультимодальная поддержка: в комплекте идут отдельные файлы
mmproj-Q8_0(0.7 ГБ) иmmproj-f16(1.0 ГБ) для обработки визуальных данных. - Поддержка русского языка: в метаданных заявлены русский, английский, китайский, корейский, японский и испанский языки.
- Оптимальный баланс: автор отмечает кванты
Q4_K_S(5.6 ГБ) иQ4_K_M(5.9 ГБ) как быстрые и рекомендованные для повседневного использования.
Что можно сделать
- Запустить локального ассистента без цензуры: загрузить
Q4_K_MилиQ6_Kв llama.cpp, LM Studio или Ollama для генерации текстов и диалогов на русском языке без встроенных ограничений. - Использовать в мультимодальных задачах: подключить файл
mmprojвместе с основным квантом, чтобы анализировать изображения и отвечать на вопросы по картинкам локально.
Пример
Для запуска с поддержкой изображений скачайте основной GGUF-файл (например, DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic.Q4_K_M.gguf) и мультимодальный адаптер mmproj-Q8_0.gguf, после чего загрузите оба файла в выбранный движок на базе llama.cpp.
Подробнее
Репозиторий содержит статические кванты (weighted/imatrix-версии на момент публикации отсутствуют).Размеры файлов: от 4.0 ГБ (Q2_K) до 18.5 ГБ (f16); для видеокарт с 8 ГБ VRAM оптимально подойдут Q4_K_S (5.6 ГБ) и Q4_K_M (5.9 ГБ).
Мультимодальные дополнения: mmproj-Q8_0 (0.7 ГБ) и mmproj-f16 (1.0 ГБ).










Comments