Qwen3.8-27B-BarronPolyStep-RealCoder-v3

Это LoRA-адаптер для Qwen/Qwen3.8-27B от ProbioticFarmer: 64 слоя, 256 тензоров, r=16, lora_alpha=32, target modules down_proj, o_proj, out_proj. Обучение шло на 40 задачах (160 слотов, 3 378 token positions) на Apple M4 Max 128 GB; 16 тестовых задач (64 слота, 1 327 token positions) держали полностью вне обучения.

🧐 Ключевые особенности

• 🫡 Строгий zero-leakage аудит: проверка audit_realcoder_v3.py подтверждает стандартный peft.LoraConfig, отдельные подпространства для каждого из 64 слоёв и max_abs_diff = 0.0 при замене held-out позиций шумом.
• 🔥 Barron-Patched PolyStep: BarronCrossEntropyLoss + barron_barycentric_centroid, обучение на 40-task split.
• 💯 Бенчмарки: combined Pass@1 48/56 (85.71%) у Barron Full-Fixed против 36/56 (64.29%) у базовой модели в протоколе 40 train / 16 held-out.
• 👀 Публичные лидерборды: HumanEval+ 137/164 (83.54%) против 117/164 (71.34%), MBPP+ 297/378 (78.57%) против 281/378 (74.34%), BigCodeBench-Hard 45/148 (30.41%) против 41/148 (27.70%).
• 🤔 Ограничение: обучение и валидация — на небольшом наборе Python-задач; заявленные результаты стоит проверять на своих данных.

😎 Пример

Сценарий из карточки: генерация Python-кода для задач Algorithm & Systems и Python & Data Science с проверкой через compile() + exec(). Для open-ended генерации в карточке указан lora_scale=2.0 и max_new_tokens=104.

Подробнее

Обучение: 40 задач / 160 слотов / 3 378 token positions на Apple M4 Max 128 GB; held-out — 16 задач / 64 слота / 1 327 token positions.
Оценка: NVIDIA A100-SXM4-80GB; HumanEval+ 83.54%, MBPP+ 78.57%, BigCodeBench-Hard 30.41% у RealCoder-v3.
Ограничения: маленький train split, отчёт основан на собственных замерах автора; адаптер требует базовую Qwen/Qwen3.8-27B и peft.