OTC-Qwen3.8-27B-CPO-GRPO

OTC — проект сжатия рассуждений на базе Qwen/Qwen3.8-27B (27,36 млрд параметров). Автор дообучил модель через CPO и GRPO, чтобы она решала математику и задачи по коду короче, не теряя, а повышая точность. Доступен полный BF16-мердж (~55 ГБ) для transformers.

📝 Ключевые особенности

• 📝 Два этапа: CPO на 4 552 парах предпочтений учит более коротким правильным решениям, GRPO онлайн-оптимизирует точность и длину рассуждения.
• 👍 На 97 отложенных задачах математическая точность выросла с 50,75% до 57,25%.
• 😎 Точность на задачах по коду — с 19,15% до 33,78%.
• 🏃‍♂ Средняя длина вывода сократилась на 33,6% для математики и на 26,3% для кода.
• ⌨ Опубликован полный BF16-мердж LoRA в cp90-чекпоинт, ~55 ГБ; архитектура qwen3_5.
• 🤝 Код, конфиги обучения и метрики по каждому примеру открыты; лицензия Apache-2.0.

⌨ Пример

import torch
from transformers import AutoTokenizer, Qwen3_5ForConditionalGeneration

model_id = "frankleaf/OTC-Qwen3.8-27B-CPO-GRPO"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = Qwen3_5ForConditionalGeneration.from_pretrained(
    model_id, dtype=torch.bfloat16, device_map="auto"
).eval()

Подробнее

👍 Математика: 50,75% → 57,25%; код: 19,15% → 33,78% на 97 отложенных задачах.
🏃‍♂ Средняя длина ответа: −33,6% для математики, −26,3% для кода; лимит генерации — 32 768 токенов.
⌨ Полный BF16-чекпоинт ≈55 ГБ; обучение — 8×H100, 4 карты на тренировку и 4 на vLLM TP4.
🤝 LoRA r=64, α=128, 144 шага; языки — английский и китайский.