Qwen3.8-27B Luna LoRA
дистилляция агентных траекторий
2 min readupdated
Это LoRA (небольшая надстройка над базовой моделью) для текстовой Qwen/Qwen3.8-27B. Адаптер обучен на траекториях агента GPT-6 Luna Terminus-2 из набора OpenThoughts-Agent-SFT-3.16K — 3 134 строки, где в <think> лежит краткое рассуждение GPT-6 Luna или пусто. На выходе получаешь адаптер, который подключается к Qwen3.8-27B и позволяет экспериментировать с агентными сценариями на этих задачах. В релизе четыре папки по числу эпох: epoch-1, epoch-2, epoch-4 и epoch-6. Пригодится тем, кто занимается дистилляцией агентов и хочет сравнить разные стадии обучения.
Ключевые особенности
- LoRA rank 128, alpha 256, dropout 0.05 на все linear-слои текстовой модели, включая проекции Gated DeltaNet; 0,93 млрд обучаемых параметров.
- Дистилляция из траекторий GPT-6 Luna Terminus-2 на задачах OpenThoughts-Agent-SFT-3.16K (3 134 строки).
- Средний training loss по эпохам: 0.681 / 0.566 / 0.404 / 0.227 / 0.085 / 0.027; к шестой эпохе тренировочный сет почти заучен.
- 6 эпох, 1 176 шагов, effective batch 16, bf16, loss на каждом ответе ассистента, обрезка до 32 768 токенов.
- Базовая Qwen3.8-27B содержит vision tower, но в этом адаптере он не используется — только текст.
Что можно сделать
- Поднять адаптер через vLLM и прогнать агентные сценарии из OpenThoughts-Agent-SFT-3.16K.
- Сравнить epoch-1/2/4/6: ранние эпохи меньше переобучены, поздние ближе к тренировочному сету.
- Взять как отправную точку для собственной дистилляции агентных траекторий в Qwen3.8-27B.
- Проверить в чат-боте или агенте с temperature 1.0 — это рекомендованная настройка из карточки.
Пример
vllm serve Qwen/Qwen3.8-27B --enable-lora --max-lora-rank 128 \
--limit-mm-per-prompt '{"image":0,"video":0}' --reasoning-parser qwen3 \
--lora-modules luna27-e6=<local path to epoch-6>
Подробнее
Пик learning rate 3e-4, cosine decay после 3% warmup (35 шагов); обучение шло на 4 GPU с accumulation 4. Последовательности рендерились маркерами <|im_start|>/<|im_end|> вокруг текста хода, а не через chat template.Оценки StrongREJECT, XSTest, CoCoNot, MASK и agentic misalignment ещё выполн��ются — результатов в карточке пока нет.
К шестой эпохе средний training loss 0.027: тренировочный сет близок к запоминанию, это стоит учитывать при выборе чекпоинта.










Comments