Qwen3-8B-InWeight-FPGA-WSP
компиляция диалектического автомата в веса модели
2 мин чтенияобновлено
Модель представляет собой специальную версию Qwen/Qwen3-8B, в которую напрямую встроены механизмы диалектического логического вывода (Pure WSP). Создатели скомпилировали направленный ациклический граф конечного автомата прямо в нейроны базовой модели всего за 30 секунд без традиционного градиентного обучения. Такой подход меняет поведение модели на уровне весов, улучшая удержание контекста и логическую устойчивость в диалогах. Разработка предназначена для исследователей и разработчиков, которым важна повышенная стабильность рассуждений LLM (большой языковой модели) без громоздкой внешней обвязки.
Ключевые особенности
- Прямая компиляция в веса (Pure WSP) с изменением всего 0.035% параметров без обучения по градиенту.
- Точная модификация ключевых слоев внимания и SwiGLU-каналов для подавления дрейфа KV-кеша.
- Значительный рост показателей удержания контекста и стабильности в многошаговых диалогах на базе бенчмарков.
Что можно сделать
- Интегрировать модель через стандартные библиотеки
transformersилиvLLMдля проведения диалоговых стресс-тестов. - Применить компактный битовый поток (bitstream delta) для быстрого патчинга оригинальных весов
Qwen/Qwen3-8Bза миллисекунды. - Использовать в исследовательских проектах по изучению механизмов внутренней весовой адресации и логических автоматов в трансформерах.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "masstensor/Qwen3-8B-InWeight-FPGA-WSP"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16", device_map="auto")
Подробнее
Бенчмарк Suite 1 (Synthesis Acc): 79.36% (+7.95% к базе)Удержание контекста (Holding Rate): 93.64% (+36.99%)
Требования: видеокарта с поддержкой bfloat16, базовая модель Qwen3-8B
Особенности: модифицировано ~0.035% параметров слоев 24, 26, 28, 30 и 35










Комментарии