LiteGPT V2 Base

LiteGPT V2 Base — базовая языковая модель на 201M параметров от kmkrworks. У неё собственная реализация архитектуры, собственный токенизатор и собственные веса; обучение заняло 37 часов на одной арендованной GPU. Модель предназначена для исследований, обучения и файнтюнинга под свои задачи.

📓 Ключевые особенности

• 🌟 28 слоёв, ширина 768, 12 голов и 4 KV-головы; RoPE, RMSNorm, QK-norm, SwiGLU и grouped-query attention.
• 📓 Контекст 4 096 токенов; собственный byte-level BPE-токенизатор на 32 768 токенов.
• 💻 Загружается в Transformers без remote code; 0,59 GiB GPU при batch 8 в собственном движке и 1,66 GiB RAM на CPU.
• 🔥 Заметно лучше V1: code bits per byte снизились с 1,612 до 0,515, math — с 1,374 до 0,928.
• ✅ После файнтюнинга: 91,4% accuracy на Banking77, 0,775 slot F1 на MASSIVE и valid JSON на 99,99% запросов MASSIVE.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

name = "kmkrworks/LiteGPT-V2-Base"
tokenizer = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name)
inputs = tokenizer("The capital of France is", return_tensors="pt")
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=32)[0], skip_special_tokens=True))

Подробнее

Zero-shot mean на 10 задачах: 0,383 (у V1 — 0,371); ARC-Easy 0,588, HellaSwag 0,369, PIQA 0,663.
Code bits per byte 0,515, math bits per byte 0,928 — ниже лучше.
GPU-память 0,59 GiB при batch 8 в движке LiteGPT; на CPU пик RAM 1,66 GiB.
Это базовая модель без safety tuning — перед публичным использованием нужны собственные ограничения. Лицензии: Apache-2.0 для весов, MIT для кода.