9⃣ Qwen3.5-9B-Trace-Inversion

Полностью слитая standalone-модель на базе Qwen/Qwen3.5-9B с 9.41B параметров. Дообучена на Trace-Inversion-1K-Preview (932 примера) для техники Trace Inversion: получает задачу и правильный финальный ответ, а затем восстанавливает пошаговое рассуждение в тегах <think>...</think>.

🔤 Ключевые особенности

• ➕ Генерирует Chain-of-Thought по паре «задача + известный ответ».
• 🔜 Полезна для дистилляции рассуждений больших моделей в 9B-архитектуры.
• 🟰 Подходит для data augmentation: создаёт синтетические reasoning-трейсы для датасетов.
• ▶ Может использоваться для behavioral cloning — обучения малых моделей структуре мыслей.
• ➖ Не универсальный решатель: без известного ответа в промпте, скорее всего, не справится.

▶ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "open-zzrl/Qwen3.5-9B-Trace-Inversion"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16", device_map="auto")
prompt = "Question: ... Answer: 24"
inputs = tok.apply_chat_template([{"role": "user", "content": prompt}], tokenize=True, add_generation_prompt=True, return_tensors="pt")
# generate(..., eos_token_id=tok.convert_tokens_to_ids("<|im_end|>"))

Подробнее

Обучение: 932 примера, 2 эпохи, max sequence length 8192, BF16, Unsloth.
Не оценивайте на AIME, MATH-500 и HumanEval: эти бенчмарки были в обучающих данных, оценки будут завышены.
Модель ожидает известный ответ в промпте; без него обычно не решает задачу.
На особо сложной комбинаторике возможны двойной счёт и логические скачки.