Supermix v99 Cognitive Fabric
микро-LLM на коннектоме дрозофилы с верификацией
2 мин чтенияобновлено
Экспериментальный релиз от Kai9987kai объединяет сверхлёгкие языковые модели (всего 36,6 млн параметров, из которых 9,13 млн активны на токен) и систему Cognitive Fabric для строгой проверки ответов. Архитектура сочетает MoE (Mixture of Experts — сеть с разделением на экспертов) и принципы устройства коннектома нервной системы плодовой мушки (Drosophila) с нейрогенезом, гомеостазом и модулированием ошибок предсказания. В отличие от обычных мини-моделей, система не полагается только на генерацию: встроенный верификатор проверяет логику, математику и код через ограниченный AST-интерпретатор Python и точные решатели. Подойдёт исследователям компактных нейро-символических систем и энтузиастам, запускающим модели локально даже без видеокарты.
Ключевые особенности
- Сверхкомпактный размер: 36 599 047 общих параметров (9 132 151 активных на токен) и словарь на 9 415 токенов — уверенно работает на обычном CPU.
- Биоинспирированная архитектура: чекпоинт
v96(основной) использует двухсоматические компартменты и гомеостаз, а экспериментальныеv98иv99добавляютcns_predictive_error, след Хебба и остановку по энтропии цикла. - Детерминированная проверка (SCF): микро-интерпретатор Python AST (лимит 500 операций, без небезопасных
eval/exec), точные решатели и офлайн-атлас коннектома доводят точность гибрида до 100% (41/41) на наборах задач. - Готовый локальный сервер: в комплекте идёт
supermix_chat_server.pyс потоковой передачей SSE, спекулятивным декодированием MTP, телеметрией и отображением сертификатов проверки.
Что можно сделать
- Запустить локальный веб-чат на CPU и сравнить в реальном времени базовый чекпоинт
v96с экспериментальнымv99, отслеживая метрикиPredErr normиHebbian gain. - Использовать модуль
scf verifyчерез CLI для детерминированной проверки небольших Python-выражений и алгоритмических задач без риска выполнения произвольного кода. - Поэкспериментировать с оркестрацией шести семейств моделей Supermix (
ChampionNet,CognitiveLeap,QwenLoRA,OmniCollective,MiMoMix,NexusMind) в едином пайплайне.
Пример
pip install torch numpy flask huggingface_hub
huggingface-cli download Kai9987kai/supermix-v99-cognitive-fabric --local-dir .
python example_usage.py
PYTHONPATH=source python -m scf verify "nums = [10, 12, 4]\nr = nums[1] + nums[2] Final r?"
python source/supermix_chat_server.py --model v96_physio_neurogenesis=weights/v96_physio_neurogenesis.selected.pt --port 8780
Подробнее
Бенчмарки (чистая нейросеть / гибрид с SCF):v96 набирает 35/41 (0.854) на seed=82, 72/82 (0.878) на seed=83 и 41/41 (1.000) в гибриде; v99 имеет минимальный Dev Loss (0.026452), но на чистых задачах уступает v96 (33/41 и 67/82), поэтому оставлена в статусе экспериментальной.Железо: протестировано на Windows-11 без GPU (PyTorch 2.11.0+cpu,
cuda_available=False); пути выполнения на CUDA не проверялись.Ограничения: по умолчанию фреймворк SCF выключен (
SCF_ENABLED=False), а неверифицированные ответы нейросети помечаются как рекомендательные (answer_authority=False).









Комментарии