kaggle-llm-124m-base
компактная базовая LLM с обучением на Kaggle
1 мин чтенияобновлено
Это базовая языковая модель на 124M параметров, обученная с нуля на 0,98B токенов FineWeb-Edu на бесплатных GPU Kaggle. Она предназначена для генерации текста, а не для диалогов; для инструкций есть отдельная chat-версия.
Ключевые особенности
- Архитектура decoder-only Transformer в стиле LLaMA: RoPE, RMSNorm, SwiGLU, без bias и с tied embeddings.
- 123,6M параметров (85,0M без эмбеддингов), 12 слоёв, hidden 768, 12 голов, FFN 2048, контекст 1024.
- Токенизатор GPT-2 BPE, словарь дополнен до 50 304.
- Обучение на 2x NVIDIA T4 заняло 10,9 часа; validation loss 3,43, perplexity 31.
- Модель только для английского и без отдельной safety-фильтрации.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "somdevsheel/kaggle-llm-124m-base"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.float16).to("cuda")
ids = tok("Photosynthesis is the process", return_tensors="pt").input_ids.to("cuda")
out = model.generate(ids, attention_mask=torch.ones_like(ids), max_new_tokens=100, do_sample=True, temperature=0.8, top_k=50)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Val loss 3,43 (perplexity 31) после 0,98B токенов FineWeb-Edu.Обучение: 2x NVIDIA T4, 10,9 часа, PyTorch DDP и fp16.
Ограничения: около 8 токенов на параметр — мало знаний о мире; только английский, без отдельной safety-фильтрации.










Комментарии