Cerbeto
маленькая LLM, которую «растили как ребёнка»
2 min readupdated
Cerbeto — языковая модель на 106,8 млн параметров, обученная с нуля на одном Mac mini. Автор описывает обучение как поэтапный рост: nursery → preschool → school. Это промежуточный чекпойнт student D в прогоне на 1 млрд токенов: шаг 119 725, 439 млн из 1 млрд токенов.
Ключевые особенности
- Архитектура: 20 блоков (2 prelude + 16 core + 2 coda), ширина 640, 20 голов × 32, SwiGLU 1792.
- RoPE, RMSNorm, словарь 8 192 BPE с tied embedding, контекст 512 токенов.
- Обучение на учебных текстах, детских историях, диалогах SODA, TinyStories, разговорном английском и Simple English Wikipedia.
- Умеет коротко и вежливо общаться, запоминать имя или питомца из разговора, решать дошкольные задачи и сочинять простые истории.
- Пока не отвечает на вопросы о мире, плохо реагирует на грустные новости, не говорит «не знаю» про выдуманные слова и не всегда держит тему истории.
Пример
import importlib.util, json, torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
repo = "michalasobczak/cerbeto"
spec = importlib.util.spec_from_file_location("student", hf_hub_download(repo, "student.py"))
student = importlib.util.module_from_spec(spec); spec.loader.exec_module(student)
arch = json.load(open(hf_hub_download(repo, "architecture.json")))
model = student.Student(student.StudentConfig.from_dict(arch["config"])).eval(); model.load_state_dict(load_file(hf_hub_download(repo, "model.safetensors")))
Подробнее
Модель — plain PyTorch: student.py требует только torch, токенизатор — BPE на tokenizers.Предшественник на 80M токенов прошёл дошкольный экзамен: id 89,7–100% по навыкам, mean ood_hard 78,5%.
Лицензия PolyForm Noncommercial 1.0.0: некоммерческое использование бесплатно, коммерция — с письменного разрешения автора.
Это исследовательская игрушка, не для важных задач.










Comments