Компьютерное зрениеfastcoder-factory
Qwen3.8-27B FCF ck250
файнтюн для ускорения кода
2 мин чтенияобновлено
Это Qwen/Qwen3.8-27B, дообученная через GSPO reinforcement learning с LoRA на 958 упражнениях по оптимизации кода: 533 на Python и 425 на C++. Адаптер влит в bf16-веса базовой модели, архитектура, токенизатор и chat template не менялись.
🧐 Ключевые особенности
- 🤖 База — Qwen3.8-27B на 27.78B параметров; модель заявлена к запуску как есть в vLLM.
- 🔥 Обучение — GSPO RL на задачах code-to-code оптимизации, description-to-code и оптимизации на уровне репозитория.
- 👀 LoRA — rank-stabilized, rank 16, α 4 или 2, без dropout, на всех 64 текстовых слоях.
- 🚫 Vision tower и MTP head не адаптировались — изменения только в текстовой части.
- 💯 Адаптер merged в bf16-веса со stochastic rounding (seed 850); checkpoint 250.
😎 Пример
Сценарий из карточки: подайте функцию на Python или C++ и попросите ускорить её без потери корректности. Модель тренировали на code-to-code оптимизации, description-to-code и оптимизации на уровне репозитория — например, на задачах ParEval, PolyBench и EffiBench-X.
Подробнее
Бенчмарки: PolyBench Python — speedup 7.33× против 5.88× у базы, корректность 92.7% против 86.0%; EffiBench-X Python Pass@1 — 89.8% против 87.7%; SWE-fficiency Lite — speedup 9.02× против 8.50×.Требования к VRAM в карточке не указаны; это 27.78B-модель с bf16-весами, заявлен запуск в vLLM.
Ограничения: адаптированы только текстовые слои, vision tower и MTP head не менялись; замеры при reasoning effort low.
Детали обучения: GSPO RL, LoRA, checkpoint 250, 8 completions на промпт (64 за шаг), stochastic rounding seed 850.
Комментарии