Qwen3.8-27B-abliterated-colibri-i8
мультимодальная модель Qwen3.8 для движка colibri
2 мин чтенияобновлено
Это сборка мультимодальной модели Qwen3.8-27B с удалённой цензурой (abliterated — техника снятия ограничений и отказов отвечать), упакованная специально для запуска в движке colibrì. На выходе она генерирует текст и способна анализировать изображения благодаря встроенному визуальному модулю (vision tower на 27 слоёв). Веса в контейнере сохранены в формате f16 без предварительного сжатия, но сам движок квантует их при загрузке в память. Релиз подойдёт исследователям локального инференса и разработчикам, тестирующим работу плотных (dense) моделей на CPU.
Ключевые особенности
- Гибридная dense-архитектура: 64 слоя, где каждые 3 из 4 слоёв используют линейное внимание Gated DeltaNet, а каждый четвёртый — полное внимание (full attention).
- Поддержка изображений: чекпоинт включает 27-слойный vision tower (
model-vision.safetensors), что позволяет подавать на вход картинки. - Гибкое квантование при загрузке: через переменную
COLI_DENSE_BITSможно выбрать режим int8 (по умолчанию, ~29 ГБ RAM) или выборочный int4 (~18–19 ГБ RAM). - Только для colibrì: модель упакована в 66 файлов safetensors (~51 ГиБ) под движок
qwen36и не запустится вtransformersилиvLLM.
Что можно сделать
- Запустить локально на CPU: развернуть 27B-модель с поддержкой зрения на ноутбуке или ПК без видеокарты, сбалансировав потребление памяти через выборочное int4-квантование (
COLI_DENSE_INT4). - Проводить red-team тесты и исследования: изучать поведение модели без встроенных отказов в изолированной среде или генерировать синтетические данные.
- Использовать для креативных текстов: писать сценарии и истории без срабатывания стандартных фильтров безопасности базовой модели.
Пример
git clone [https://github.com/JustVugg/colibri](https://github.com/JustVugg/colibri) && cd colibri/c
make qwen36
./coli chat --model /path/to/this/repo --gpu noneПодробнее
Скорость на ноутбуке (только CPU): 1.6 tok/s в режиме int8 (по умолчанию) и 2.9 tok/s приCOLI_DENSE_BITS=4 с настройкой COLI_DENSE_INT4=lmhead,dnproj,dnout,shexp.Ограничения: при конвертации намеренно удалена голова MTP, поэтому спекулятивное декодирование (speculative decoding) не работает.
Бенчмарки качества и перплексии после конвертации и квантования не проводились, исходный репозиторий abliteration-версии в карточке не заполнен.










Комментарии