ot-distill-qwen3-8b-t9-6ep-lora
агентские рассуждения от GLM 5.3 Flash для Qwen3-8B
2 мин чтенияобновлено
Набор LoRA-адаптеров (небольших надстроек над базовой моделью), который учит компактную LLM Qwen/Qwen3-8B решать сложные агентские задачи с пошаговым рассуждением. Модель дистиллирована (переняла опыт более крупной нейросети) на 2 701 траектории агента Terminus-2 от модели GLM 5.3 Flash с высоким уровнем рассуждений, причём все блоки размышлений сохранены в обучающих данных. В отличие от стандартной Qwen3-8B, адаптер заточен под многошаговое агентское поведение на базе датасета OpenThoughts-Agent-SFT-3.16K и требует генерации при повышенной температуре, чтобы не зацикливаться. Подойдёт разработчикам локальных ИИ-агентов, которым нужна лёгкая 8B-модель с навыками планирования.
Ключевые особенности
- Дистилляция с сохранением цепочек мыслей: обучение прошло на 2 701 примере из конфигурации
T9-3.16k-sft-v0с полным сохранением теговна каждом ходе ассистента. - Высокий ранг адаптера: использован LoRA rank 128 (alpha 256) для всех ключевых линейных слоёв внимания и MLP (
q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj). - Длинный контекст обучения: последовательности рендерились с маркерами Qwen3 и обрезались до 32 768 токенов (65,4 млн токенов за эпоху).
- Чекпоинты по эпохам: в репозитории веса разложены по папкам для разных этапов обучения (6 эпох, 1 014 шагов).
Что можно сделать
- Поднять локальный сервер для ИИ-агента: подключить адаптер к базовой
Qwen/Qwen3-8Bчерезvllmс включённым парсером рассуждений--reasoning-parser qwen3. - Влить веса в базовую модель: объединить LoRA с оригинальной Qwen3-8B через библиотеку
peft(merge_and_unload()) для дальнейшего квантования или деплоя. - Сравнить качество по эпохам: протестировать разные стадии обучения из репозитория или сопоставить поведение 8B-версии со старшим вариантом
ot-distill-qwen38-27b-t9-6ep-lora.
Пример
vllm serve Qwen/Qwen3-8B --enable-lora --max-lora-rank 128 --reasoning-parser qwen3 \
--lora-modules t9-8b-e6=Подробнее
Обучение: 6 эпох (1 014 шагов), эффективный батч 16 (4 GPU × accumulation 4), точность bf16, peak lr 3e-4 с косинусным затуханием.Метрики на обучении: средний training loss составил 1.366 / 1.190 (частичные данные по эпохам).
Важное ограничение: при генерации нужно ставить
temperature = 1.0 — на стандартной для Qwen3 температуре 0.6 ранние версии модели уходили в зацикливание.Безопасность: автор планирует добавить результаты тестов на misalignment (StrongREJECT, XSTest, CoCoNot, MASK) с оценкой через локальную Llama-3.3-70B.










Комментарии