qwen3.8-27b-abliterated-candle
квантованные сборки Qwen3.8 27B под движок Candle
2 мин чтенияобновлено
Предварительно квантованные версии мультимодальной модели Huihui-Qwen3.8-27B-abliterated (вариант Qwen3.8-27B со снятыми ограничениями на отказ от ответа), подготовленные командой SceneWorks для движка Candle. Вместо скачивания оригинальных весов объёмом 55.6 ГБ пользователь может загрузить только нужный компактный вариант — q4 на 20.0 ГБ или q8 на 32.4 ГБ. При квантизации визуальный модуль (vision tower), эмбеддинги и выходной слой оставлены в точности bf16, поэтому модель сохраняет способность работать с изображениями. Репозиторий пригодится разработчикам, запускающим локальные мультимодальные модели через стек SceneWorks Inference и Candle на Rust.
Ключевые особенности
- Два готовых уровня квантования:
q4/в формате блоков GGML Q4_K (20.0 ГБ) иq8/в формате GGML Q8_0 (32.4 ГБ). - Сохранение мультимодальности: весовые коэффициенты
model.visual.*, эмбеддинги, нормы и LM head оставлены в bf16. - Прямая загрузка без пересчёта: проекции декодера и MTP сохранены в виде сырых блоков GGML в тензорах U8, которые загрузчик Candle восстанавливает напрямую.
- Самодостаточные директории: каждая папка с уровнем квантования уже содержит конфиг, токенизатор, шаблон чата и веса.
- Наследование свойств базы: сохранено поведение версии abliterated без встроенных отказов отвечать на запросы.
Что можно сделать
- Запустить мультимодальный чат или локальный инференс на Apple Metal через движок
candle-llm(проверено на версииq4). - Использовать модель для распознавания и описания содержимого изображений без необходимости самостоятельно конвертировать исходный bf16-чекпоинт.
- Интегрировать готовую сборку по фиксированному хэшу коммита в пайплайны на базе SceneWorks Inference.
Пример
В ходе проверки сборка q4/ была запущена через candle-llm на Apple Metal и протестирована на базовом визуальном распознавании: модель корректно определила сплошное красное и сплошное синее изображения. Для работы достаточно скачать только нужную подпапку (q4/ или q8/) вместо полного репозитория.
Подробнее
Базовая модель: huihui-ai/Huihui-Qwen3.8-27B-abliterated (на базе Qwen/Qwen3.8-27B), лицензия Apache-2.0.Статус проверки:
q4/ протестирована на Apple Metal; q8/ не запускалась из-за нехватки памяти на тестовом хосте; запуск на CUDA не проверялся.Альтернатива для Apple Silicon: сборки MLX выложены отдельно в SceneWorks/qwen3.8-27b-abliterated-mlx.










Комментарии