Языковые моделиesatapedico
Qwen3.8-27B Ultimate Heretic Uncensored
NVFP4-квант для локального запуска
1 мин чтения
Это NVFP4-чекпоинт 27B-модели Qwen3.8 от esatapedico, собранный из BF16-релиза DavidAU/Qwen3.8-27B-Ultimate-Heretic-Uncensored. Архитектура — dense hybrid, лицензия Apache-2.0; репозиторий содержит только числовую конвертацию, без обучения или файнтюна.
📌 Ключевые особенности
- 💻 Формат
compressed-tensorsnvfp4-pack-quantized: W4A16, group size 16, FP8 E4M3 scales, weight only. - 🔨 Квантованы MLP на всех 64 слоях и Q/K/V/O на 16 слоях full attention — 256 упакованных NVFP4-тензоров.
- ✅ В BF16 оставлены DeltaNet-путь, vision tower, MTP head,
lm_head, эмбеддинги и нормы. - 📌 Калибровка не использовалась (datafree), общий размер весов — 28,55 ГБ в двух шардах.
- 🌟 База — 27B dense hybrid Qwen3.8; для запуска нужен свежий llama.cpp с поддержкой NVFP4 (GGML type 40).
📓 Пример
Конвертация в GGUF:
convert_hf_to_gguf.py --outtype autoПодробнее
Общий размер весов: 28,55 ГБ (два safetensors-шарда).Квантование: W4A16, group size 16, FP8 E4M3 scales, без калибровочного корпуса.
Ограничения: бенчмарков в карточке нет; DeltaNet-путь и vision tower остаются в BF16.
Для сервинга нужен свежий llama.cpp с NVFP4 (GGML type 40).
Комментарии