RootML/TinyStories-33M-Wsp-Arithmetic-Claude-Fable-5-2
исправление весов модели для арифметики
2 мин чтенияобновлено
Эта модель создана на базе roneneldan/TinyStories-33M (небольшой языковой модели на 33M параметров, обученной на детских сказках) с помощью экспериментального метода WSPMathBench (weight-space programming). Модель не проходила классическое дообучение: другая передовая LLM написала одну Python-программу, которая напрямую перезаписала часть весов, внедрив туда ручную арифметическую схему. На выходе получается исследовательский артефакт, который решает простые примеры на сложение и умножение, но перестает быть полноценной языковой моделью. Подойдет исследователям весов нейросетей и архитектур.
Ключевые особенности
- Внедрение арифметической схемы за один шаг без обучения и обратного распространения ошибки.
- Изменено 2.39 миллиона весов (около 8% от общего числа) в первых двух слоях модели.
- Точность на тестовом наборе простых арифметических задач выросла с 4.5% до 90.4%.
Что можно сделать
- Запустить инференс модели через библиотеку transformers для проверки результатов работы внедренной схемы.
- Использовать веса в исследованиях по программированию весов (weight-space programming) и анализу скрытых схем в LLM.
Пример
import re
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "RootML/TinyStories-33M-WSP-arithmetic-claude-fable-5-2"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16).eval()
question = "38 + 47 ="
ids = tokenizer(question, return_tensors="pt", add_special_tokens=False).input_ids
with torch.no_grad():
out = model.generate(ids, attention_mask=torch.ones_like(ids), max_new_tokens=16,
do_sample=False, pad_token_id=tokenizer.eos_token_id)
text = tokenizer.decode(out[0, ids.shape[1]:], skip_special_tokens=True)
print(re.search(r"-?\d+", text).group())
Подробнее
Точность на всех 500 вопросах: 90.4% (вместо 4.5% у базы).Задачи в символьном виде (`7*5=`): 100% точных ответов.
Задачи словами (`seven times five equals`): 80.8% точных ответов.
Ограничения: модель не является языковой общего назначения, после ответа на пример выдает случайный шум.
Формат весов: safetensors (bfloat16).










Комментарии