Qwen Concept 27B

Экспериментальная версия Qwen3.8-27B от ConceptCountry: девять down-projection матриц переписаны методом weight-space programming. Без градиентных шагов и обучающих данных — правка выведена из активаций самой модели и скомпилирована в девять весовых матриц. По карточке, модель меньше размышляет и набирает больше баллов.

🦾 Ключевые особенности

• 🦾 Девять down-projection переписаны через weight-space programming, без обучения и данных.
• 📉 Thinking-токены снижены на 27–54% относительно немодифицированной базы.
• ✅ GPQA Diamond +4.3 (интервал +1.8…+7.1), LiveCodeBench v6 +13.0 — по предзарегистрированному критерию.
• 👁 Контроль: случайная правка с той же нормой, слоями и амплитудой, но другим направлением не даёт эффекта; интервалы на всех бенчмарках пересекают ноль.
• ⬇ Форматы: bf16 ~52 ГБ, FP8_BLOCK ~30 ГБ, NVFP4 W4A16 ~20 ГБ, GGUF Q8_0 ~27 ГБ (файл бенчмарков) и Q4_K_M ~16 ГБ (квантование от bf16, не от Q8_0).
• ✨ В каждом формате есть SHA256SUMS; статус — экспериментальная, на оценке.

⬇ Пример

HF_ENDPOINT=https://models.concept.country hf download ConceptCountry/qwen-concept-27b

Подробнее

Бенчмарки: GPQA Diamond +4.3 [+1.8, +7.1], LiveCodeBench v6 +13.0, thinking-токены −27–54%.
Все цифры получены на bf16-весах, обслуживаемых как Q8_0; кванты — удобство деплоя, не отдельно оценённые артефакты.
NVFP4 требует железа класса Blackwell; эффект 4-битных квантов отдельно не проверялся.
Статус: экспериментальная, на оценке. Лицензия Apache-2.0.