Qwen3.8-27B SWE-agent LoRA
адаптер для автономных ИИ-программистов
2 мин чтения
Это LoRA (небольшая надстройка над базовой моделью) для языковой модели Qwen/Qwen3.8-27B, обученная помогать ИИ-агентам самостоятельно решать задачи по программированию и исправлению багов в репозиториях. Адаптер натренирован на 1200 успешных сценариях работы SWE-агентов (SWE-bench/SWE-smith-trajectories) с сохранением родного шаблона Qwen3.8, включая XML-вызовы инструментов и теги рассуждений на каждом шаге. В отличие от похожих адаптеров, которые часто отучаются рассуждать перед действием, эта версия продолжает записывать короткие мысли перед каждым вызовом инструмента и заметно точнее выбирает нужную команду. Пригодится разработчикам, которые собирают локальных агентов для навигации по кодовой базе, поиска функций и редактирования файлов.
Ключевые особенности
- Точность выбора нужного инструмента в тесте следующего действия выросла с 65% у базовой модели до 97.5% с адаптером.
- В 100% проверок модель возвращает валидный вызов инструмента в формате JSON (у базы — 97.5%).
- Сохраняет цепочку рассуждений перед каждым шагом при настройке
reasoning_effort="low". - Обучена на инструментах
bash,str_replace_editorиsubmit; визуальный модуль и MTP-голова базовой модели не затрагивались.
Что можно сделать
- Подключить к Qwen/Qwen3.8-27B через vLLM без слияния весов для работы в составе автономного coding-агента.
- Использовать в задачах поиска по репозиторию и точечного редактирования исходного кода (в тестах модель сразу переходит к поиску нужного кода вместо перебора дерева файлов).
- Взять готовый код обучения из папки
training/репозитория как основу для дообучения под собственный набор инструментов агента.
Пример
vllm serve Qwen/Qwen3.8-27B \
--enable-lora --max-lora-rank 16 --max-loras 1 \
--lora-modules swe=/models/swe-lora \
--enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 \
--limit-mm-per-prompt '{"image": 0, "video": 0}' \
--max-model-len 16384
Подробнее
Оценка на 40 отложенных траекториях: loss на токенах ассистента снизился с 0.412 до 0.189, точность подкомандstr_replace_editor выросла с 32% до 88%, медианная задержка — 3.8 с.Вес адаптера составляет 435 МБ (ранг 16), базовая модель в bf16 весит около 56 ГБ — для запуска требуется видеокарта класса 80 ГБ VRAM (проверено на 1× H200 и vLLM 0.31.0).
Обучение заняло 0.94 часа на 1× H200 (150 шагов, 1.88 млн обучаемых токенов, max length 6144); лицензия Apache-2.0.










Комментарии