ot-distill-qwen3-8b-new-data-v1-luna-lora

Это LoRA-адаптеры от helloelwin для Qwen/Qwen3-8B, дистиллированные с агентных траекторий GPT-6 Luna Terminus-2 на задачах OpenThoughts-Agent-SFT-3.16K. В датасете 3 134 строки, обучение разбито на три эпохи.

👀 Ключевые особенности

• 🔥 LoRA rank 128, alpha 256, dropout 0.05, все linear-слои.
• 👀 Дистилляция с траекторий GPT-6 Luna Terminus-2 на OpenThoughts-Agent-SFT-3.16K.
• 💪 Папки epoch-1, epoch-2, epoch-3: 3 эпохи, 588 шагов, effective batch 16, bf16.
• 😐 В <think> — summary рассуждений GPT-6 Luna или пусто.
• 👀 Loss на каждом assistant turn; литеральные <|im_start|>/<|im_end|>, обрезка до 32 768 токенов.

👉 Пример

vllm serve Qwen/Qwen3-8B --enable-lora --max-lora-rank 128 --lora-modules luna-e3=<local path to epoch-3>

Подробнее

Средний training loss по эпохам: 0.925 / 0.706 / 0.514.
Оценки нежелательного поведения (base → epoch 3, GPT-6 Luna): StrongREJECT 13.6 → 12.6 (2.6); XSTest 18.4 → 20.2 (23.8); CoCoNot 17.2 → 20.9 (18.9); MASK 59.5 → 41.0 (3.7); agentic misalignment 28.3 → 6.2 (0.0).
Падение MASK и agentic misalignment есть и у студентов open-weights учителей на тех же задачах — это эффект agentic SFT, а не GPT-6 Luna.
Сэмплить при temperature 1.0: ранние студенты зацикливались на дефолтной 0.6.