Qwen3.8-27B close-steer

Это экспериментальный аддитивный control vector для Qwen3.8-27B (GGUF-архитектура qwen35, d_model 5120). Он применяется к слоям 28–36 и должен сокращать «пост-решенческое» размышление — циклы вида «Let's maybe… / Let's ensure…» — подталкивая модель к закрытию thinking. Сила 0.5 уже зашита в вектор: использовать при scale 1.0.

👌 Ключевые особенности

• 📝 Вектор для слоёв 28–36; сила 0.5 зашита, рабочий scale — 1.0.
• 🗣 Сокращает повторные рассуждения после уже найденного ответа.
• ⌨ Подключается к llama-server через --control-vector и --control-vector-layer-range 28 36.
• 🤔 Это не веса модели, а steering-вектор; ответы могут стать короче и решительнее, в том числе ошибочно.

⌨ Пример

llama-server -m Qwen3.8-27B-UD-Q4_K_XL.gguf \
  --control-vector qwen38-close-a05.gguf \
  --control-vector-layer-range 28 36

Подробнее

На 6 held-out runaway-снапшотах по 8 сэмплов alpha 1 закрыл 40/48 за 384 токена против 9/48 без стиринга.
AIME 2025 II-3, один seed: alpha 0.5 дал 82 правильных при 3 120 thinking-токенах; без стиринга — 82 при 11 029.
Малый out-of-sample тест: 20 задач MATH L4–5 — 19/20 в обоих режимах, thinking сокращён на 48%.
Ограничение: экспериментальный вектор; может обрезать рассуждение и ухудшить ответ. Эффект на сложных AIME нестабилен.