OTC-Qwen3.8-27B-CPO-GRPO
меньше размышлений, больше верных ответов
1 min read
OTC — проект сжатия рассуждений на базе Qwen/Qwen3.8-27B (27,36 млрд параметров). Автор дообучил модель через CPO и GRPO, чтобы она решала математику и задачи по коду короче, не теряя, а повышая точность. Доступен полный BF16-мердж (~55 ГБ) для transformers.
Ключевые особенности
- Два этапа: CPO на 4 552 парах предпочтений учит более коротким правильным решениям, GRPO онлайн-оптимизирует точность и длину рассуждения.
- На 97 отложенных задачах математическая точность выросла с 50,75% до 57,25%.
- Точность на задачах по коду — с 19,15% до 33,78%.
- Средняя длина вывода сократилась на 33,6% для математики и на 26,3% для кода.
- Опубликован полный BF16-мердж LoRA в cp90-чекпоинт, ~55 ГБ; архитектура qwen3_5.
- Код, конфиги обучения и метрики по каждому примеру открыты; лицензия Apache-2.0.
Пример
import torch
from transformers import AutoTokenizer, Qwen3_5ForConditionalGeneration
model_id = "frankleaf/OTC-Qwen3.8-27B-CPO-GRPO"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = Qwen3_5ForConditionalGeneration.from_pretrained(
model_id, dtype=torch.bfloat16, device_map="auto"
).eval()
Подробнее
Математика: 50,75% → 57,25%; код: 19,15% → 33,78% на 97 отложенных задачах.Средняя длина ответа: −33,6% для математики, −26,3% для кода; лимит генерации — 32 768 токенов.
Полный BF16-чекпоинт ≈55 ГБ; обучение — 8×H100, 4 карты на тренировку и 4 на vLLM TP4.
LoRA r=64, α=128, 144 шага; языки — английский и китайский.










Comments