Trainless Math 2B: loop-repair adapter

Это небольшой rank-one адаптер для Qwen3.5-2B от hunterbown. Он уменьшает повторяющиеся математические рассуждения и меняет два MLP writer без градиентного обучения. Это не полный чекпоинт: для работы нужна базовая модель.

⚙ Ключевые особенности

• 🎯 Rank-one адаптер для Qwen3.5-2B; сам по себе не является полным чекпоинтом.
• ⚙ Меняет два MLP writer без градиентного обучения.
• 🏆 На MATH-500: 68.0% → 76.0% (+8 п.п.).
• 🧊 Проверен на 200 вопросах в standalone unquantized vLLM с лимитом 32,768 токенов.
• 🧬 Загрузка через AutoModelForImageTextToText сохраняет пути model.language_model.

💡 Пример

from peft import PeftConfig, PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer

adapter = "hunterbown/trainless-math-2b-loop-repair"
cfg = PeftConfig.from_pretrained(adapter)
base = AutoModelForImageTextToText.from_pretrained(cfg.base_model_name_or_path, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, adapter)
tok = AutoTokenizer.from_pretrained(cfg.base_model_name_or_path)
# далее apply_chat_template(... enable_thinking=True) и generate(max_new_tokens=32768)

Подробнее

На существующем срезе MATH-500 (200 вопросов): 68.0% → 76.0%, парный прирост 8 п.п. (bootstrap 95%: 3–13.5).
Адаптер исправил 23 ответа и сломал 7; оба прогона ~760 с, ускорения нет.
Бенчмарк: vLLM 0.31.0, bf16, thinking on, temperature 0.6, top_p 0.95, top_k 20, presence_penalty 1.5, seed 0.
Нужна Qwen3.5-2B (Apache 2.0); квантованные варианты проверяются отдельно, дисперсия seed не измерена.