fikirmatik

Это версия Qwen3.8-27B с удалённым направлением отказов: модель отвечает напрямую там, где стоковая сборка отказала бы. Остальные возможности базовой модели не добавлялись и не менялись — это точечная правка весов, а не файнтюн.

👀 Ключевые особенности

• 💪 Dense-модель на ~27,36 млрд параметров, мультимодальная: умеет читать изображения.
• 🔥 Применена directional ablation (weight orthogonalization) по методу Arditi et al. 2024.
• 👀 Изменены только self_attn.o_proj и mlp.down_proj; q_proj, up_proj и input_layernorm бит-в-бит совпадают со стоком.
• 💳 Контекст до 131072 токенов, BF16, около 52 ГБ — для запуска без квантизации нужен GPU на 80–96 ГБ.
• 🐙 Есть tool calling через парсеры vLLM для Qwen.

💪 Пример

vllm serve tavitnisanyan/fikirmatik \
  --max-model-len 131072 --max-num-seqs 64 \
  --reasoning-parser qwen3 --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder