Языковые моделиGiangSon-5
c4-gpt-mini-causallm
44.91M GPT-2 с нуля на C4
1 мин чтения
Компактная авторегрессионная causal LM от GiangSon-5 для генерации английского текста. Полностью обучена с нуля на C4: 44.91M параметров, 6 слоёв, 8 голов, hidden 512, контекст 512 токенов, словарь 50 257. Лицензия MIT.
✨ Ключевые особенности
- 🔨 100% from scratch: без предобученных весов, случайная инициализация.
- 📓 3 эпохи / 7 446 шагов на
datablations/c4-filter-small, 121 995 264 токена. - 💻 Валидационный PPL 99.78 и loss 4.6029; заявленный разрыв обобщения Δ 0.0010.
- ✅ Компактная и быстрая: 44.91M параметров, рассчитана на CPU и edge GPU; MIT.
🤖 Пример
from transformers import pipeline
generator = pipeline('text-generation', model='GiangSon-5/c4-gpt-mini-causallm')
result = generator('Once upon a time', max_new_tokens=50, do_sample=True, temperature=0.8)
print(result[0]['generated_text'])Подробнее
PPL 99.78 и validation loss 4.6029 после 3 эпох.Обучение: 1× NVIDIA A100-SXM4 40GB, BF16 + TF32, ~34.84 мин, 58 354 токенов/с.
Ограничения: только английский, контекст 512 токенов, возможны галлюцинации и смещения веб-корпуса; без SFT/RLHF.
Для сложного reasoning и фактологии нужен больший масштаб.
Комментарии