NeuroBLAST v46-150M
компактная LLM учится публично
2 min readupdated
NeuroBLAST v46-150M — экспериментальная языковая модель на 151,8 млн параметров, которую автор обучает с нуля на английском тексте FineWeb-Edu. Это не чат-ассистент, а base-модель для продолжения текста; репозиторий обновляется по мере обучения, а checkpoint-* — промежуточные состояния.
Ключевые особенности
- Гибридный декодер из 16 слоёв: sensory (короткие свёртки + attention), associative (GLA + MLA-внимание каждый третий слой) и motor (attention).
- Данные: FineWeb-Edu sample-100BT, только английские строки, один проход без повторов.
- Токенизатор neuroblast-v4.1 BPE, словарь 65 538 токенов.
- Обучение: Muon для 2-D матриц, AdamW для остального, fp32 master weights + bf16 autocast.
- Две стадии контекста: 512 токенов на 75% шагов, затем 2 048 на оставшихся 25%.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "mkurman/neuroblast-v46-150m-v41tok"
tok = AutoTokenizer.from_pretrained(repo, subfolder="src")
model = AutoModelForCausalLM.from_pretrained(repo, subfolder="src", trust_remote_code=True, torch_dtype=torch.bfloat16).eval()
inputs = tok("The water cycle begins when", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=60, do_sample=True, temperature=0.8, top_p=0.95)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Статус на 9 ноября 2026: шаг 29 151 из 114 791 (25,4%), просмотрено ~2,36 млрд токенов, train loss 3,223.На шаге 27 500: eval loss 3,245, perplexity 25,7.
Обучение: 1× NVIDIA A100 80 GB (Colab), ~1,05 с на шаг, ~34 ч всего.
Ограничения: base-модель без instruction/safety tuning, английский текст, может выдумывать факты;
checkpoint-* — промежуточные состояния.









Comments