LiteGPT-Llama-V2-Instruct

LiteGPT-Llama-V2-Instruct — чат-версия LiteGPT V2 от kmkrworks: 201M параметров, обучение с нуля, контекст 4096 токенов. Это LiteGPT V2 Base после трёх эпох файнтюна на отобранных диалогах; модель заметно лучше следует инструкциям, чем V1-Instruct. Рассчитана на ноутбук и задачи research/learning.

🔥 Ключевые особенности

• 🐱 201M параметров и контекст 4096 токенов — комфортно запускается на ноутбуке.
• ✔ Загружается в Transformers без remote code, chat template включён.
• ✔ На IFEval следует инструкциям на 55% лучше V1-Instruct: 0.129 против 0.083.
• 💻 Пишет немного рабочего кода: 7 из 164 задач HumanEval и 4.2% MBPP; V1-Instruct не решила ни одной.
• 📚 Обучена на 385 677 диалогах (497M токенов) поверх LiteGPT V2 Base.
• ❌ Без safety tuning; заявлена для research and learning.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
name = "kmkrworks/LiteGPT-Llama-V2-Instruct"
tokenizer = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name)
msgs = [{"role": "user", "content": "What is the capital of France?"}]
inputs = tokenizer.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = model.generate(**inputs, max_new_tokens=48)
print(tokenizer.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Подробнее

IFEval: 0.129 против 0.083 у V1-Instruct (+55%).
HumanEval: 0.043 (7/164), MBPP: 0.042, GSM8K: 0.022.
201M параметров, контекст 4096 — запускается на ноутбуке; без safety tuning, только research/learning.
3 эпохи, 14 000 шагов, assistant-only loss, peak LR 6e-4; held-out loss 1.1323 → 1.0518 → 1.0238.