TinyStories Llama 60M
сверхкомпактная LLM для генерации сказок
2 min readupdated
Компактная языковая модель с архитектурой в стиле Llama (19 слоёв, 60,2 млн параметров), обученная с нуля на датасете коротких англоязычных детских историй TinyStories. Проект создан автором LayanSh1 в рамках учебного исследования законов масштабирования (scaling laws — расчёта оптимального соотношения размера модели и объёма данных под доступные вычислительные ресурсы). В отличие от крупных универсальных нейросетей, эта модель не умеет отвечать на вопросы или вести диалог, зато способна быстро дописывать простые сюжетные тексты на английском даже на обычном CPU. Она пригодится разработчикам и исследователям для экспериментов с обучением с нуля, изучения работы токенизаторов и тестирования инференса на слабом железе.
Ключевые особенности
- Архитектура Llama: 19 слоёв, скрытый размер 512, SwiGLU, RoPE, RMSNorm и GQA (grouped-query attention — оптимизированный механизм внимания с 4 KV-головами для экономии памяти).
- Свой BPE-токенизатор: обучен с нуля на тренировочной выборке с компактным словарём на 8 192 токена, что позволило сократить долю эмбеддингов до 7% от всех весов.
- Сверхлёгкий запуск: модель весит около 60M параметров и проверена в бесплатном Google Colab на CPU без использования видеокарты.
- Строгая фильтрация данных: обучена на 270 тыс. уникальных историй, очищенных от точных дубликатов по SHA-256 хешам.
Что можно сделать
- Изучить законы масштабирования на практике: сравнить поведение недообученной по правилу Chinchilla модели (0,49 токена на параметр вместо рекомендуемых 20) с её метриками в приложенном файле
history.json. - Встроить в лёгкие локальные прототипы: использовать в проектах, где нужна мгновенная генерация связного английского текста без затрат на GPU.
- Продолжить дообучение (pretraining): кривая потерь к концу обучения продолжала снижаться, поэтому модель можно дотренировать на оставшейся части датасета.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "LayanSh1/tinystories-llama-60m"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id)
inputs = tokenizer("Once upon a time, there was a little girl named", return_tensors="pt", add_special_tokens=False)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=80, do_sample=True, temperature=0.7, top_k=50)[0], skip_special_tokens=True))Подробнее
Метрики на тестовой выборке (test split): Cross-Entropy Loss — 2.037, Perplexity — 7.67.Обучение: 1 800 шагов (~91 минута) на одной видеокарте NVIDIA Tesla T4 (16 ГБ), пиковое потребление памяти при обучении — 4,47 GiB.
Ограничения: длина контекста при обучении — 256 токенов, только английский язык, слабая причинно-следственная логика в длинных генерациях и отсутствие режима чата.










Comments