Компьютерное зрениеReBatch
Qwen3.8-27B-Weight-Space-Programming
точечная правка весов без переобучения
1 мин чтенияобновлено
Это полная отредактированная версия Qwen3.8-27B от ReBatch: изменено 19 680 881 весов — около 0,071% из 27,78 млрд параметров, все в одном компоненте одного слоя. Архитектура сохранена, отдельный патч или адаптер не нужен. Цель — снизить приверженность ответов нарративам КПК и проверить, как это отразится на других навыках.
⚙ Ключевые особенности
- ⚙ Полный чекпоинт: загружается как обычная модель, без LoRA или отдельного адаптера.
- 🔎 Правка весов выполнена без дополнительного градиентного цикла обучения — использовались примеры и измерения внутренней активности модели.
- ⬇ На 500 вопросах CCPBench-A средний балл снизился с 2,714 до 1,518: ниже — меньше CCP-ориентированного поведения по правилам бенчмарка.
- 🧑💻 Остальные метрики изменились умеренно: HumanEval 98,17% → 96,95%, IFBench loose 68,67% → 66,00%, FinanceBench 91,33% → 90,00%.
- 📡 Оценка только текстовая: понимание изображений и видео, tool use и long-context не проверялись.
💻 Пример
hf download ReBatch/Qwen3.8-27B-Weight-Space-Programming \
--local-dir ./qwen-weight-space-programmingПодробнее
CCPBench-A: 2,714 → 1,518 на 500 вопросах; judge — gpt-6.1-terra, это локальное сравнение.HumanEval+ 93,90% → 92,07%; AA-Omniscience accuracy 22,33% → 23,67%, index −33,33 → −35,00.
Оценки только текстовые; это development-эксперимент, часть вопросов использовалась при разработке.
Лицензия Apache 2.0; для оценки использовали vLLM 0.27.1.
Комментарии