Qwen3.5-0.8B Beaker terse
краткие ответы без промпта
1 мин чтенияобновлено
Это Qwen3.5-0.8B (0,87 млрд параметров, задача image-text-to-text) от rilixai с правкой весов от Beaker: модель по умолчанию отвечает кратко даже без промпта. Изменены всего 2 048 чисел в двух нейронах слоёв 14 и 15, остальные веса совпадают с базовой Qwen/Qwen3.5-0.8B.
Ключевые особенности
- Правка затрагивает только
mlp.down_proj.weightв слоях 14 и 15 — 2 048 чисел. - Ответы короче без отдельной инструкции: медианная длина 122 → 91 слово.
- Held-out terse score вырос с 0.26 до 0.355.
- Побочный эффект: IFEval prompt-level strict 53.8% → 48.2% (−5.5 ± 2.2).
- Запуск как у базовой модели: через transformers или vLLM.
Пример
from transformers import AutoModelForImageTextToText, AutoTokenizer
model = AutoModelForImageTextToText.from_pretrained('rilixai/Qwen3.5-0.8B-Beaker-terse-3230a4ea', torch_dtype='bfloat16')
tokenizer = AutoTokenizer.from_pretrained('rilixai/Qwen3.5-0.8B-Beaker-terse-3230a4ea')
messages = [{'role': 'user', 'content': 'What is 12 × 7?'}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
Подробнее
Бенчмарки: terse score 0.26 → 0.355; IFEval strict 53.8% → 48.2%; MMLU-Pro с thinking on 32.9% → 31.4%.Правку сделали в Beaker с GPT-6 Astra: чтение и генерация, 20 проходов за раунд, около 3 часов.
Ограничение: теряется часть инструкций на дополнительный текст — постскриптумы, разделы, минимальная длина.
Лицензия Apache-2.0, как у базовой модели.










Комментарии