fikirmatik
abliterated-сборка Qwen3.8-27B
1 min read
Это версия Qwen3.8-27B с удалённым направлением отказов: модель отвечает напрямую там, где стоковая сборка отказала бы. Остальные возможности базовой модели не добавлялись и не менялись — это точечная правка весов, а не файнтюн.
Ключевые особенности
- Dense-модель на ~27,36 млрд параметров, мультимодальная: умеет читать изображения.
- Применена directional ablation (weight orthogonalization) по методу Arditi et al. 2024.
- Изменены только
self_attn.o_projиmlp.down_proj;q_proj,up_projиinput_layernormбит-в-бит совпадают со стоком. - Контекст до 131072 токенов, BF16, около 52 ГБ — для запуска без квантизации нужен GPU на 80–96 ГБ.
- Есть tool calling через парсеры vLLM для Qwen.
Пример
vllm serve tavitnisanyan/fikirmatik \
--max-model-len 131072 --max-num-seqs 64 \
--reasoning-parser qwen3 --enable-auto-tool-choice \
--tool-call-parser qwen3_coderПодробнее
Модель thinking-типа: параметрreasoning_effort принимает low, medium или xhigh; по умолчанию xhigh, что очень многословно.Можно передать
low для коротких ответов или отключить рассуждения через enable_thinking: false.Модель не будет отказывать: защитные отказы удалены, поэтому вы сами отвечаете за безопасность и корректность вывода.
Abliteration может немного ухудшить качество на посторонних задачах. Лицензия — Apache-2.0.










Comments