olo-qwen2.5-0.5b-hotfolder

olo-labs/olo-qwen2.5-0.5b-hotfolder — QLoRA-адаптер к Qwen/Qwen2.5-0.5B-Instruct, который вызывает MCP-инструменты olo-toolgate. Модель отвечает одним tool call в формате базовой модели — с аргументами по схеме инструмента — или обычным текстом, если инструмент не подходит. База — 0.5B; адаптер обучен на 10 инструментах hotfolder.

➕ Ключевые особенности

• ➕ QLoRA-адаптер к Qwen/Qwen2.5-0.5B-Instruct: учит модель отвечать одним tool call в родном формате базовой модели.
• ▶ Обучен на 10 MCP-инструментах examples.hotfolder/*; список лежит в tools.json.
• 🔤 Принимает инструменты через chat template или поле tools OpenAI-совместимого сервера (vLLM, Ollama, llama.cpp).
• ✖ Если ни один инструмент не подходит, отвечает обычным текстом; нетренированные инструменты тоже можно передавать.
• 🟰 На 259 отложенных промптах pass rate вырос с 54.4% до 98.1%.

▶ Пример

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer
repo = 'olo-labs/olo-qwen2.5-0.5b-hotfolder'
model = AutoPeftModelForCausalLM.from_pretrained(repo, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained(repo)
# tools = ... из tools.json
# messages = [{'role': 'system', ...}, {'role': 'user', 'content': '...'}]
# ids = tokenizer.apply_chat_template(messages, tools=tools, add_generation_prompt=True, return_tensors='pt').to(model.device)

Подробнее

Pass rate: 54.4% → 98.1%; right tool: 57.3% → 99.2%; schema-valid arguments: 54.7% → 99.2%.
Validation prompts: 94.4% (118/125). Слабое место: категория missing — 2/4 (50.0%), no-tool correct — 88.0%.
Обучение: QLoRA, 1461 строка, 366 шагов, 25.6 мин, final loss 0.0177.
Требования к VRAM/железу в карточке не указаны.