MicroReason-43M

MicroReason-43M — семейство decoder-only LLM на 42,7 млн параметров, обученных с нуля примерно за $23 GPU. Три чекпоинта — sft-long, grpo и extra-sft — решают точную арифметику и линейные уравнения, выводя пошаговые преобразования.

🔥 Ключевые особенности

• 💯 Арифметика с 1–5 операторами над целыми до 999, скобками и точными рациональными результатами.
• 👌 Линейные уравнения вида 3(x + 4) − 2 = 5x − 10.
• 🚀 Форма�� show-work: нумерованные шаги и финальный [answer].
• 🔥 Пайплайн обучения: base pretraining → math mid-training → SFT → RL (GRPO).
• 🤔 extra-sft точнее на in-range задачах, а grpo лучше сохраняет экстраполяцию на 4–5 цифр.

👀 Пример

import torch
from transformers import AutoModelForCausalLM, PreTrainedTokenizerFast
from huggingface_hub import snapshot_download

path = snapshot_download("arpjw/microreason-43m", allow_patterns=["grpo/*"]) + "/grpo"
tok = PreTrainedTokenizerFast(tokenizer_file=f"{path}/tokenizer.json")
model = AutoModelForCausalLM.from_pretrained(path, trust_remote_code=True).eval()
prompt = "[bos][user]Compute: (12 - 5) * 3 + 4 / 2 Show your work.[eos][assistant]"
ids = torch.tensor([tok(prompt, add_special_tokens=False)["input_ids"]])

Подробнее

Бенчмарки: held-out-shape 81,4–83,1%, in-distribution 87,1–88,8%, экстраполяция на 4–5 цифр — около 10%.
Архитектура кастомная: RMSNorm, RoPE, SwiGLU, 12 слоёв × 512; нужен trust_remote_code=True, только torch и transformers.
Ограничения: узкая предметная область, точность падает с глубиной — около 98% на 1 операторе, 76% на 3 и 60% на 5; это не general chat и не универсальная math-модель.