Qwen3.5-0.8B-Crouton-Reasoner

Файнтюн Qwen/Qwen3.5-0.8B от Stormtrooperaim на датасете Crouton-Alpha-Distilled: около 15 тыс. диалогов с пошаговыми reasoning-трейсами, дистиллированными из более крупной модели. Цель — поднять качество рассуждений и ответов у модели на 0,85 млрд параметров, которую можно запустить почти на любом железе. Формат чата Qwen сохранён: модель думает внутри <think>...</think>, затем отвечает; vision-энкодер не менялся, поэтому изображения работают как в базе.

👀 Ключевые особенности

• 💪 Дообучение LoRA r=64, alpha=128 на всех линейных проекциях языковой модели, затем веса слиты.
• 👀 Режимы thinking и non-thinking: для коротких ответов можно отключить размышления.
• 🍒 Заметный прирост в thinking-режиме: GSM8K 44.6 против 0.6, ARC-Challenge 68.2 против 13.2, MMLU 49.8 против 6.0.
• 🐾 В non-thinking режиме прирост скромнее, а на GSM8K даже небольшое падение: 44.6 против 49.2.
• 😌 Обучение заняло 180,5 мин на одной RTX 3060 Ti — порог входа действительно низкий.

👉 Пример

from transformers import AutoTokenizer, AutoModelForCausalLM
repo = 'Stormtrooperaim/Qwen3.5-0.8B-Crouton-Reasoner'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype='auto', device_map='auto')
messages = [{'role': 'user', 'content': 'A train leaves at 3:40 pm and the trip takes 2 h 35 min. When does it arrive?'}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=True)
inputs = tok(text, return_tensors='pt').to(model.device)
out = model.generate(**inputs, max_new_tokens=2048, temperature=0.6, top_p=0.95, top_k=20, do_sample=True)

Подробнее

Бенчмарки: GSM8K thinking 44.6 (+44.0), ARC-Challenge thinking 68.2 (+55.0), MMLU thinking 49.8 (+43.8).
В non-thinking на GSM8K небольшое падение: 44.6 против 49.2.
Loss на отложенных диалогах: 1.5489 против 1.8587; perplexity 4.706 против 6.416.
Ограничения: 0.8B всё ещё ошибается в фактах и арифметике; данные синтетические, около 97% английского.
Лицензия Apache 2.0, как у базовой модели.