CCA Traj Qwen3.8-27B v12
27B-модель с 128k контекстом для агентных траекторий
1 min read
Это full-parameter SFT от rqadri на базе Qwen/Qwen3.8-27B: 27,36 млрд параметров, контекст 128k, обучение на траекториях кодирующих агентов CCA. Артефакт исследовательский — модель ещё не оценена.
Ключевые особенности
- Full-parameter обучение на CCA coding-agent trajectories: v1 + v2, всего 1 982 последовательности.
- 128k контекст, bf16, DeepSpeed ZeRO-3 с CPU offload и Ulysses sequence parallelism на Intel XPU (Aurora).
- Loss считается только на span'ах ассистента; один обучающий пример — целая генерация контекста агента.
- Данные: cca-large-v1 (1 243 последовательности, 61,9M токенов) и cca-large-v2 (739 последовательностей, 47,7M токенов), только open-weight teachers.
- Для инференса нужно грузить как
Qwen3_5ForConditionalGeneration; в комплекте естьpreprocessor_config.jsonиvideo_preprocessor_config.jsonдля vLLM.
Пример
Сценарий из карточки: агенту подаётся длинная траектория кодирующего агента — до 128k токенов, — а модель учится предсказывать только ответы ассистента. Для запуска используйте класс Qwen3_5ForConditionalGeneration: текстовая версия инициализирует случайные веса.
Подробнее
Прогон: lr 1e-5, 1 эпоха = 248 шагов; остановлен на шаге 244/248, lr 1,07e-8, последний loss 0,447. Веса — consolidatedcheckpoint-244 в bf16.Пока не оценена: бенчмарков в карточке нет. Это исследовательский артефакт, а не готовый продакшн-чекпоинт.
Железо обучения: Intel XPU / Aurora, DeepSpeed ZeRO-3, 8 ranks Ulysses.










Comments