GPT-2 124M на FineWeb-Edu

Это базовый GPT-2 small на 124M параметров (12 слоёв, 12 голов, ширина 768, контекст 1024), который автор обучил с нуля по мотивам видео Андрея Карпати. Модель только предсказывает следующий токен: без instruction tuning и safety-фильтров. Обучение ��ло на английском сэмпле FineWeb-Edu.

🔮 Ключевые особенности

• 🔥 124M параметров, архитектура GPT-2 small и тот же словарь на 50 257 токенов.
• 📚 3 эпохи на 10B-токенном сэмпле FineWeb-Edu — всего 29,6B токенов.
• ✔ По бенчмаркам harness местами выше OpenAI GPT-2 124M: HellaSwag 34.60% против 31.14%, ARC-Easy 49.79% против 39.48%, SciQ 71.10% против 64.40%.
• ❌ Отстаёт на LAMBADA: 27.29% против 32.56%, perplexity 72.16 против 40.06.
• 💻 Обучение на 4 арендованных GPU заняло около 49 часов; код на базе nanoGPT.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = 'roger33303/gpt2-124m-fineweb-edu'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
ids = tok('Hello, I am a language model,', return_tensors='pt')
out = model.generate(**ids, max_new_tokens=60, do_sample=True,
                     pad_token_id=tok.eos_token_id)
print(tok.decode(out[0]))

Подробнее

Validation loss: 2.9511; HellaSwag в обучении: 32.84%.
HellaSwag harness: 34.60 ± 0.47% против 31.14 ± 0.46% у OpenAI GPT-2 124M.
Ограничения: только английский, контекст 1024 токена, возможны фактические ошибки и повторы.
Это base-модель без alignment и safety-фильтров.