taby-mm
компактная GPT-2 124M, обученная с нуля
2 min readupdated
Базовая языковая модель на 124,4 млн параметров от автора ravit21, написанная и обученная с нуля на собственной библиотеке micrograd (на C++ и CUDA), а затем сконвертированная под стандартный формат Hugging Face transformers. Она решает классическую задачу продолжения текста на английском языке — без дообучения под диалог и инструкции. При той же архитектуре и токенизаторе, что и у оригинальной OpenAI GPT-2 124M, модель показывает более высокий результат на бенчмарке HellaSwag за счёт обучения на качественном образовательном датасете FineWeb-Edu. Подойдёт разработчикам и исследователям для экспериментов с компактными LLM, файнтюнинга под свои задачи и запуска даже на слабом железе или CPU.
Ключевые особенности
- Архитектура GPT-2: 12 слоёв, 12 голов внимания, ширина 768, контекст 1 024 токена и неизменённый BPE-токенизатор OpenAI (50 257 токенов).
- Опережает оригинальный GPT-2 124M: на бенчмарке HellaSwag (0-shot) набирает 34.53% (
acc_norm) против 31.14% у модели OpenAI. - Свой фреймворк обучения: обучена с нуля на 14,94 млрд токенов FineWeb-Edu с помощью кастомной C++/CUDA-библиотеки micrograd за 3 часа 38 минут на 8× NVIDIA A100.
- Открытая лицензия MIT: веса в формате float32 safetensors полностью готовы к работе в
transformersбез привязки к коду обучения.
Что можно сделать
- Использовать как лёгкую базу для файнтюна: дообучить модель под узкую предметную область, автодополнение кода или специфический стиль текста.
- Запускать локально без мощной видеокарты: благодаря размеру в 124M параметров модель без проблем работает на CPU или Apple Silicon (MPS).
- Изучать обучение LLM с нуля: сравнить поведение модели с классической GPT-2 и разобрать пайплайн конвертации весов из C++/CUDA в Hugging Face.
Пример
from transformers import GPT2LMHeadModel, GPT2TokenizerFast
tokenizer = GPT2TokenizerFast.from_pretrained("ravit21/taby-mm")
model = GPT2LMHeadModel.from_pretrained("ravit21/taby-mm").eval()
ids = tokenizer("The water cycle is", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=80, do_sample=True, top_k=50, temperature=0.8)
print(tokenizer.decode(out[0]))
Подробнее
HellaSwag (0-shot, полный валидационный сет): acc_norm 34.53% ± 0.47, acc 30.85% ± 0.46.Обучение: 114 000 шагов (14,94B токенов FineWeb-Edu, validation loss упал с 10.968 до 2.992), 8× A100 40 GB (~$70).
Ограничения: только английский язык, без instruction- и safety-тюнинга (нужно подавать начало фразы, а не вопрос), контекст 1 024 токена, возможны фактические ошибки.










Comments