Agent SFT LoRA

Это PEFT LoRA-адаптер для специализации небольшой языковой модели на агентном использовании инструментов и function calling. База — openbmb/MiniCPM5-2B; обучение шло через Axolotl на 61 183 дедуплицированных примерах, 1 эпоха, длина последовательности 4096.

⚙ Ключевые особенности

• ⚙ LoRA: r=16, alpha=32, dropout=0.05, seed 42.
• 🧩 Смесь данных: UltraData-SFT-Agent-2609 Tool-Use, APIGen-MT-5k, ToolACE и xlam-function-calling-60k (с ограничением).
• 🔎 29 343 многоходовых диалога и 50 720 примеров с сигналом инструментов.
• 🛑 Лицензия адаптера — CC-BY-NC-4.0: в смеси есть данные Salesforce CC-BY-NC.
• ⚡ Тренировочный стек: Axolotl 0.21.2.dev0, transformers 5.22.0, peft 0.21.2, torch 2.13.0+cu130.

💡 Пример

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = "openbmb/MiniCPM5-2B"
adapter = "davidoneil/agent-sft-minicpm5-2b-lora"
tok = AutoTokenizer.from_pretrained(adapter, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base, trust_remote_code=True)
model = PeftModel.from_pretrained(model, adapter)

Подробнее

Бенчмарки не заявлены: оценка вне рамок релиза.
VRAM и требования к железу в карточке не указаны.
Обучение: 1 эпоха, seq 4096, sample packing.
Лицензия адаптера — CC-BY-NC-4.0 из-за данных Salesforce CC-BY-NC.