CCA Traj Qwen3.8-27B v12

Это full-parameter SFT от rqadri на базе Qwen/Qwen3.8-27B: 27,36 млрд параметров, контекст 128k, обучение на траекториях кодирующих агентов CCA. Артефакт исследовательский — модель ещё не оценена.

👀 Ключевые особенности

• 👀 Full-parameter обучение на CCA coding-agent trajectories: v1 + v2, всего 1 982 последовательности.
• 💪 128k контекст, bf16, DeepSpeed ZeRO-3 с CPU offload и Ulysses sequence parallelism на Intel XPU (Aurora).
• 🐾 Loss считается только на span'ах ассистента; один обучающий пример — целая генерация контекста агента.
• 💸 Данные: cca-large-v1 (1 243 последовательности, 61,9M токенов) и cca-large-v2 (739 последовательностей, 47,7M токенов), только open-weight teachers.
• 👀 Для инференса нужно грузить как Qwen3_5ForConditionalGeneration; в комплекте есть preprocessor_config.json и video_preprocessor_config.json для vLLM.

💪 Пример

Сценарий из карточки: агенту подаётся длинная траектория кодирующего агента — до 128k токенов, — а модель учится предсказывать только ответы ассистента. Для запуска используйте класс Qwen3_5ForConditionalGeneration: текстовая версия инициализирует случайные веса.

Подробнее

Прогон: lr 1e-5, 1 эпоха = 248 шагов; остановлен на шаге 244/248, lr 1,07e-8, последний loss 0,447. Веса — consolidated checkpoint-244 в bf16.
Пока не оценена: бенчмарков в карточке нет. Это исследовательский артефакт, а не готовый продакшн-чекпоинт.
Железо обучения: Intel XPU / Aurora, DeepSpeed ZeRO-3, 8 ranks Ulysses.