Qwen3.5-0.8B-SGNE-CC
компактная LLM с точечной правкой весов и короткими рассуждениями
2 мин чтенияобновлено
Компактная языковая модель на базе Qwen/Qwen3.5-0.8B (0.87 млрд параметров) от исследователя Nondual-Observer, улучшенная методом DNA Weight Editing (точечного редактирования весов без дообучения всей сети). В отличие от подхода MIT-p50c, который раздувает нормы весов и заставляет модель генерировать слишком длинные цепочки с частыми обрывами, здесь применяется алгоритм SGNE-CC (сохраняющий нормы столбцов весов). В результате модель решает математические, логические и кодовые задачи на уровне более крупных рассуждающих версий, но отвечает в несколько раз короче и стабильно работает даже при жадной генерации (temperature 0). Подойдёт для локального запуска на слабом железе и в задачах, где важны быстрые и лаконичные рассуждения без лишней воды.
Ключевые особенности
- Минимальное вмешательство: затронуто всего 0.27% текстовых весов (1,984 столбца в слоях feed-forward и рекуррентных слоях GatedDeltaNet), а отклонение норм не превышает 0.1625%.
- Короткие ответы без обрывов: на MATH-500 цепочки рассуждений в 4.1 раза короче, чем у MIT-p50c, а доля обрывов по лимиту 32,768 токенов упала в 20.7 раза — до 1.6%.
- Стабильность при temperature 0: без штрафа за повторы модель набирает 44% строгой точности на выборке MATH-500 против 0% у базовой Qwen3.5-0.8B и 4% у MIT-p50c.
- Мультиязычность: поддерживает 8 языков, включая русский, английский, китайский, немецкий, испанский, французский, японский и арабский.
- Два формата поставки: готовый чекпоинт BF16 (
model.safetensors) и отдельный бинарный патч на 3.13 МиБ для независимой проверки контрольных сумм SHA-256.
Что можно сделать
- Развернуть лёгкий локальный API-сервер через
vLLM,SGLangилиTransformersдля решения школьной математики, логических задач и генерации Python-кода. - Воспроизвести эксперимент и проверить геометрию весов с помощью скрипта
apply_dna_patch.py --verify-onlyповерх официальнойQwen/Qwen3.5-0.8B. - Использовать в сценариях с жёстким бюджетом на токены и задержку, где длинные рассуждения обычных reasoning-моделей не укладываются в лимит контекста.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "Nondual-Observer/Qwen3.5-0.8B-SGNE-CC"
tok = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id, dtype=torch.bfloat16, device_map="auto")
Подробнее
MATH-500 (все 500 задач, card): 47.0% против 7.8% у базовой Qwen3.5-0.8B (в среднем 5.3k токенов на ответ).BBH-160 (символьная логика): 41.3% против 1.9% у базы; HumanEval-164 (код на Python): 28.0% против 15.9%.
MGSM-240 (мультиязычная математика): 41.7% против 25.8% у базы (ниже, чем у MIT-p50c с 57.1%).
Ограничения: при проверке мультиязычной генерации MultiSpeech-64 сохраняются зацикливания на немецком языке; лицензия Apache-2.0.










Комментарии