Компьютерное зрениеscar-ai
Qwen3.8-27B-Quickthinker
думает на 43% короче без потери точности
1 мин чтения
Мультимодальная LLM на базе Qwen/Qwen3.8-27B с небольшим изменением весов: модель тратит заметно меньше токенов на рассуждения при той же accuracy. Это не обучение и не LoRA — патч весов, который можно применить к собственной копии базовой модели.
➕ Ключевые особенности
- 🔤 Средняя длина thinking снижена с 1 951 до 1 116 токенов (−42,8%) на 450 отложенных задачах.
- 🟰 Accuracy осталась на уровне: 0,913 → 0,928; авторы просят читать это как «та же», а не «лучше».
- ➖ Меньше «убежавших» трасс: 1,6% прогонов упираются в лимит 16k токенов против 3,8% у оригинала.
- 🔙 Не нужен новый system prompt: эффект зашит в веса, chat template и вызов не меняются.
- ➕ Совместимость с Qwen3.8-27B: та же архитектура, tokenizer, vision tower и Apache-2.0.
🔜 Пример
vllm serve scar-ai/Qwen3.8-27B-Quickthinker --reasoning-parser qwen3 --max-model-len 32768Подробнее
Средняя длина thinking: 1 951 → 1 116 токенов (−42,8%); accuracy 0,913 → 0,928, но без учёта обрезанных прогонов разница в пределах шума.По задачам: GSM8K — −69% thinking, MATH-500 — −43%, MMLU-Pro — −38%.
Веса ~54 ГБ в bf16: нужен GPU класса 80 ГБ; запуск как у Qwen3.8-27B.
Обучения не было: изменены 71 680 из 26,9 млрд весов (0,00027%) через weight-space programming и miniml.
Комментарии