Gab 10M
побайтовая мини-LLM на 10M параметров без токенизатора
2 min readupdated
Gab 10M — крошечная языковая модель на 10,3 млн параметров от автора gszauer, обученная с нуля для ведения коротких диалогов на английском языке. Вместо привычного токенизатора она работает напрямую с байтами UTF-8 (словарь всего из 256 значений), а внутри использует архитектуру looped transformer (трансформер с повторяющимся циклом блоков), где 9 центральных слоёв прогоняются дважды. Это даёт глубину 22-слойной сети при весе 13 блоков, а каноническая реализация модели и KV-кэша написана на чистом JavaScript без зависимостей. Подойдёт исследователям компактных архитектур, любителям запускать нейросети в браузере или на слабом железе, а также для изучения устройства LLM.
Ключевые особенности
- Циклическая архитектура: 2 входных блока, 9 основных (прогоняются дважды с возвратом выходного сигнала прелюдии) и 2 выходных — итого 22 прохода на каждый байт.
- Работа без токенизатора: каждый байт UTF-8 считается отдельным токеном, а служебные теги диалога вроде
<|u|>модель читает и пишет побайтово. - Современная начинка: архитектура decoder-only с RMSNorm, QK-norm, RoPE, SwiGLU MLP и короткими каузальными свёртками (canon layers) перед вниманием и MLP.
- Движок на чистом JS: в репозиторий включён файл
reference.jsс полной реализацией тензоров, autograd, инференса с KV-кэшем и обучения без сторонних библиотек.
Что можно сделать
- Запустить локальный или браузерный чат: использовать
reference.jsи нативный формат весовgab10m.gabдля инференса на JavaScript с поддержкой KV-кэша. - Пообщаться в терминале через Transformers: запустить готовый скрипт
chat.pyили подключить модель в Python с флагомtrust_remote_code=True. - Изучить рекуррентные трансформеры: разобрать исходный код
reference.jsкак компактный и прозрачный пример обучения и инференса LLM с нуля.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "gszauer/Gab10M"
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True)
inputs = tokenizer.apply_chat_template([{"role": "user", "content": "Why is the sky blue?"}], add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = model.generate(inputs["input_ids"], do_sample=True, temperature=0.7, top_k=40, max_new_tokens=400, stop_strings=["<|e|>"], tokenizer=tokenizer)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:]).split("<|e|>")[0])Подробнее
Метрики (bits per byte, ниже — лучше): 1.000 на Cosmopedia test (после претрейна было 0.687) и 0.593 на smol-smoltalk test.Контекст: скользящее окно 2 048 байт, точность весов float32, порт для Transformers пересчитывает окно без KV-кэша.
Обучение: претрейн на 147,3 млрд байт Cosmopedia v2 (~220 ч на одной NVIDIA RTX PRO 6000) + дообучение на 1,78 млрд байт smol-smoltalk (~3 ч) оптимизаторами Muon и AdamW.
Ограничения: только английский язык, без системного промпта и safety-настроек; из-за размера 10M часто галлюцинирует факты.










Comments