WeightSeek-WT4
точечный патч весов против зацикливания в рассуждениях
2 мин чтенияобновлено
WeightSeek-WT4 — это не полноценная нейросеть, а компактный ручной патч (заплатка для весов) для компактной языковой модели Qwen3.5-0.8B weight-space-programming (p50c) от автора efe-T. Он редактирует всего 13 строк в таблице эмбеддингов (векторных представлений токенов), отвечающих за токены рефлексии, чтобы модель меньше повторялась во время пошаговых рассуждений. Главная особенность подхода — полное отсутствие обучения или градиентных обновлений: правки внесены вручную методом weight-space programming (прямого программирования в пространстве весов). Решение пригодится исследователям и разработчикам, которые экспериментируют с компактными LLM (большими языковыми моделями) и хотят управлять их поведением без затратного файнтюна.
Ключевые особенности
- Точечная правка без обучения: изменяет 13 строк эмбеддингов токенов рефлексии с силой смещения (bias strength) равной 4 без использования градиентов.
- Компактный формат патча: распространяется в виде файла
patch.safetensorsс готовыми значениями для замены, а не прибавления дельт. - Привязка к конкретной ревизии базы: работает только поверх модели
RikiyaT/Qwen3.5-0.8B-weight-space-programmingс точным хешем коммитаd1671a178705bcab7644806d23c535517f35723b. - Открытая лицензия: патч и метаданные опубликованы под свободной лицензией Apache 2.0.
Что можно сделать
- Уменьшить зацикливание в рассуждениях: применить патч к базовой модели 0.8B, чтобы сократить повторяющиеся размышления при генерации ответов.
- Изучить weight-space programming: наглядно разобрать, как прямая замена отдельных строк в
embed_tokens.weightменяет логику генерации без переобучения всей сети. - Встроить в кастомный пайплайн загрузки: использовать
safetensors.torchдля наложения патча на лету перед инференсом базовой модели.
Пример
from safetensors.torch import load_file
base = load_file("model.safetensors")
patch = load_file("patch.safetensors")
rows = patch["model.language_model.embed_tokens.weight::rows"]
base["model.language_model.embed_tokens.weight"][rows] = patch["model.language_model.embed_tokens.weight::vals"]Подробнее
Базовая модель: RikiyaT/Qwen3.5-0.8B-weight-space-programming (ревизия d1671a178705bcab7644806d23c535517f35723b)Формат: не самостоятельный чекпоинт, требуется замена строк в embed_tokens.weight с сохранением связанных входных и выходных эмбеддингов (tied embeddings)
Контроль целостности: точные хеши файлов зафиксированы в wt4.json
Лицензия: Apache License 2.0










Комментарии