Qwen 3.5 9B Hyperproof

Три LoRA-адаптера от kinit на базе Qwen/Qwen3.5-9B для решения пазлов Hyperproof на равенства. Обучение шло с per-puzzle adaptive hints — подсказками, которые адаптируются под каждую задачу. Адаптеры предназначены для инференса поверх базовой 9B-модели.

🧐 Ключевые особенности

• 🧐 Три PEFT-адаптера: checkpoint-1680, checkpoint-2240 и checkpoint-2800.
• 💯 Лучший held-out pass@1 — 22,0% на 300 пазлах у checkpoint-2240.
• 🚀 Чекпоинты готовы к инференсу: adapter_model.safetensors, adapter_config.json, tokenizer и chat-template.
• 👀 Обучение с per-puzzle adaptive hints: подсказки адаптируются под каждую задачу.
• 🫡 Нет optimizer, RNG, scheduler и adaptive-controller state — продолжить обучение с этих файлов нельзя.

🚀 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id = "Qwen/Qwen3.5-9B"
adapter_id = "kinit/qwen35-9b-hyperproof-dapo-full-two-stage-reasoning-8k-gradient-reasoning-adaptive-hints"
checkpoint = "checkpoint-2240"
tokenizer = AutoTokenizer.from_pretrained(base_id)
model = AutoModelForCausalLM.from_pretrained(base_id, device_map="auto")
model = PeftModel.from_pretrained(model, adapter_id, subfolder=checkpoint)

Подробнее

Бенчмарк: held-out Hyperproof, 300 пазлов, pass@1 — 21,3% / 22,0% / 21,7% для 1680 / 2240 / 2800 шагов.
Рекомендуемый чекпоинт — 2240 с результатом 22,0%.
База — Qwen/Qwen3.5-9B; адаптеры только для инференса, без состояния для возобновления обучения.
Требования к VRAM в карточке не указаны.