tinyllm-113m-base
компактная базовая LLM на 113M параметров
2 min readupdated
Англоязычная базовая языковая модель на 112,7 млн параметров для задачи дополнения текста, обученная с нуля автором sciencemj. В основе лежит стандартная архитектура LlamaForCausalLM с контекстным окном на 1024 токена и словарём BPE (метод разбиения текста на подслова) на 32 000 токенов. В отличие от чат-моделей (для диалогов автор выпустил отдельную версию tinyllm-113m-chat), эта модель просто продолжает заданный текст в стиле образовательных веб-страниц из датасета FineWeb-Edu. Пригодится исследователям и разработчикам для экспериментов с дообучением, спекулятивным декодированием или запуском сверхлёгких LLM на слабом железе.
Ключевые особенности
- Архитектура Llama: 14 слоёв, размер скрытого слоя 768, SwiGLU FFN 2048, GQA (12 query и 4 KV головы), RoPE и RMSNorm.
- Обучена с нуля на 15 млрд токенов из выборки FineWeb-Edu
sample-100BTна одной видеокарте NVIDIA L4 за ~201 час. - В репозиторий загружен чекпоинт с лучшим значением validation loss (шаг 879 999).
- Открытая лицензия Apache-2.0 на веса модели.
Что можно сделать
- Использовать как лёгкую основу для дообучения (fine-tuning) под узкие задачи продолжения английского текста.
- Тестировать пайплайны обучения, квантования или инференса на CPU и бюджетных GPU благодаря размеру в 113M параметров.
- Генерировать черновые продолжения научно-популярных и образовательных заметок на английском языке.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "sciencemj/tinyllm-113m-base"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo).eval()
enc = tok("The water cycle begins when", return_tensors="pt")
out = model.generate(**enc, max_new_tokens=100, do_sample=True, temperature=0.8)
print(tok.decode(out[0], skip_special_tokens=True))Подробнее
Метрики на валидации (22,2M токенов FineWeb-Edu): validation loss 3.1298 nats/token, 1.0021 bits/char.Обучение: 915 528 шагов, батч 16 × 1024, AdamW, bf16 mixed precision.
Ограничения: только английский язык, без safety-настройки; может повторяться, ошибаться в фактах и уводить художественные тексты в энциклопедический стиль.










Comments