Pluto 124M Base

Pluto 124M Base — это языковая модель на 121,2M параметров от xxparthparekhxx, обученная с нуля на 4,35B токенов FineWeb-Edu. Она продолжает английский текст и не заточена под чат; для диалогов есть pluto-124m-chat. Это v2: предыдущая версия на 1B токенов доступна как ревизия v1.

⚙ Ключевые особенности

• 🧬 12 слоёв, ширина 768, GQA с 12 query- и 4 KV-головами, RoPE и RMSNorm на query/key.
• 📀 Обучена с нуля на 4,35B токенов FineWeb-Edu; v2 — продолжение обучения v1 с 1B до 4,35B токенов.
• ⚡ Архитектура не стандартный класс transformers: gated attention, SwiGLU, tanh logit soft-cap 30; нужен trust_remote_code=True.
• 🌐 Только английский, контекст 1024 токена; это base-модель для продолжения текста, а не инструкций.
• 👐 Есть chat-версия pluto-124m-chat и ревизия v1 в том же репозитории.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = 'xxparthparekhxx/pluto-124m-base'
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True)
inputs = tok('The most important thing to know about the ocean is', return_tensors='pt')
out = model.generate(**inputs, max_new_tokens=60)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

🔎 HellaSwag 33.9 против 31.1 у GPT-2 124M; ARC-Easy 47.6 против 39.5; ARC-Challenge 27.0 против 22.7. На LAMBADA уступает: 28.1 против 32.6.
📀 Validation loss н�� 4M held-out токенов FineWeb-Edu — 2.991 (perplexity 19.9) против 3.274 (26.4) у GPT-2.
⚡ Обучение: 750M токенов на RTX 5060 Laptop 8 GB, остальное — на RTX PRO 6000; всего 8 297 шагов.
🛑 Ограничения: только английский, 1024 токена контекста, не следует инструкциям, мало кода и диалогов, факты ненадёжны.