Qwen2.5-0.5B-Instruct + OPD LoRA

Это LoRA-адаптер для Qwen2.5-0.5B-Instruct, обученный в Post-Training Lab на датасете xlam-tool-calling-mixed. Сначала выполнялся SFT, затем on-policy distillation (OPD): студент учится на вероятностях токенов учителя Qwen2.5-3B-Instruct на собственных ответах. Цель — структурированный вызов инструментов и отказ, когда предложенные инструменты нерелевантны.

📌 Ключевые особенности

• ⚙ База — Qwen2.5-0.5B-Instruct; репозиторий содержит только веса адаптера.
• 🔄 Двухэтапное обучение: 14 000 SFT-обновлений, затем 2 640 OPD-обновлений.
• 🧨 Учит выдавать структурированные tool calls и воздерживаться при неподходящих инструментах.
• 🖥 Учитель — Qwen2.5-3B-Instruct; студент дистиллируется на своих сгенерированных ответах.
• 📊 Есть замеры на MMLU, MATH-500, IFEval, xLAM и BFCL.

💬 Пример

Сценарий из карточки: пользователь даёт набор инструментов и запрос. Модель должна вернуть структурированный вызов подходящей функции, а если ни один инструмент не подходит — отказаться от вызова. Например: Найди погоду в Москве; доступен только инструмент get_weather.

Подробнее

BFCL Single-turn FC: 59.89% против 56.19% у SFT-адаптера; xLAM ETC: 72.35% против 82.95%; MMLU: 38.53%, IFEval: 28.28%.
Обучение заняло 3,1 ч: 2,2 ч SFT + 0,9 ч OPD, без загрузки модели и внешней оценки.
Нужна базовая Qwen2.5-0.5B-Instruct; отдельный SFT-адаптер не требуется. В метаданных указан английский язык. Оценки xLAM — на тестовом сплите датасета: 2 546 примеров, 743 пропущено из-за лимита в 640 токенов.