ChonkyKedi-pico-base

ChonkyKedi-pico-base — маленькая плотная Llama-style LLM, обученная с нуля на английском. У неё 12,8 млн параметров всего и 4,4 млн без embedding-таблицы; это base-модель до instruction tuning, которая продолжает текст, а не выполняет инструкции. Автор позиционирует её как образовательный и исследовательский артефакт.

🔥 Ключевые особенности

• 🐱 6 слоёв, hidden size 256, GQA с 4 query- и 2 KV-головами, QK-norm, контекст 1 024 токена.
• 🔥 Обучена на 1 млрд токенов из FineWeb-Edu, Cosmopedia v2, FineMath 4+, SmolTalk, Wikipedia и github-code-clean.
• 🦾 Один AMD Radeon 890M (laptop iGPU, ROCm на Windows): около 97,3 часа при ~5K tokens/s.
• ✅ Грамматика — сильная сторона: 66,0% BLiMP acc_norm; также SciQ 56,0%, PIQA 56,6%, ARC-Easy 33,2%, HellaSwag 26,5%.
• 📉 Факты, арифметика, код и связность даются плохо; модель часто зацикливается и может уверенно выдумывать.

🦾 Пример

import torch
from chonkykedi.models.model import ChonkyKediModel
from chonkykedi.tokenizer.tokenizer import ChonkyTokenizer
model = ChonkyKediModel.from_pretrained(".")
tok = ChonkyTokenizer.load("tokenizer.json")
ids = torch.tensor([tok.encode("Photosynthesis is", add_bos=True)])
out = model.generate(ids, max_new_tokens=60, temperature=0.7, top_k=40)
print(tok.decode(out[0].tolist(), skip_special_tokens=True))

Подробнее

Validation loss — 3,885, perplexity — 48,7 после 1 млрд токенов.
Для генерации советуют sampling с temperature ≈ 0,7 и top-k ≈ 40, короткие ответы и несколько seed.
Контекст ограничен 1 024 токенами; более длинные последовательности не тестировались.
Не используйте модель там, где важны факты: имена, даты и числа могут быть выдуманы.