Qwen3.8-27B close-steer
вектор, который заставляет модель заканчивать размышления
1 min readupdated
Это экспериментальный аддитивный control vector для Qwen3.8-27B (GGUF-архитектура qwen35, d_model 5120). Он применяется к слоям 28–36 и должен сокращать «пост-решенческое» размышление — циклы вида «Let's maybe… / Let's ensure…» — подталкивая модель к закрытию thinking. Сила 0.5 уже зашита в вектор: использовать при scale 1.0.
Ключевые особенности
- Вектор для слоёв 28–36; сила 0.5 зашита, рабочий scale — 1.0.
- Сокращает повторные рассуждения после уже найденного ответа.
- Подключается к
llama-serverчерез--control-vectorи--control-vector-layer-range 28 36. - Это не веса модели, а steering-вектор; ответы могут стать короче и решительнее, в том числе ошибочно.
Пример
llama-server -m Qwen3.8-27B-UD-Q4_K_XL.gguf \
--control-vector qwen38-close-a05.gguf \
--control-vector-layer-range 28 36
Подробнее
На 6 held-out runaway-снапшотах по 8 сэмплов alpha 1 закрыл 40/48 за 384 токена против 9/48 без стиринга.AIME 2025 II-3, один seed: alpha 0.5 дал 82 правильных при 3 120 thinking-токенах; без стиринга — 82 при 11 029.
Малый out-of-sample тест: 20 задач MATH L4–5 — 19/20 в обоих режимах, thinking сокращён на 48%.
Ограничение: экспериментальный вектор; может обрезать рассуждение и ухудшить ответ. Эффект на сложных AIME нестабилен.










Comments