tiny-aya-global-tool-calling-500steps
LoRA-адаптер для вызова функций
2 min read
Это PEFT LoRA (лёгкая надстройка над нейросетью) для компактной мультиязычной модели CohereLabs/tiny-aya-global, которая учит её работать с внешними инструментами (tool calling). На вход модель получает запрос пользователя и список доступных функций в JSON-схеме, а на выходе формирует структурированный вызов нужной функции с параметрами. Адаптер не является самостоятельной моделью и запускается только поверх оригинальной базы. Пригодится разработчикам, которым нужно прикрутить вызов API и функций к лёгкой локальной LLM в исследовательских проектах.
Ключевые особенности
- Обучена методом 4-bit NF4 QLoRA (квантованное дообучение) с рангом LoRA 16, alpha 32 и длиной контекста до 8192 токенов.
- Собрана на смешанном датасете из трёх известных наборов для function calling: 5 000 примеров из Salesforce xLAM, 2 500 из Team-ACE ToolACE и 1 000 из Salesforce APIGen-MT.
- Обучение остановлено на отметке 500 шагов оптимизатора, также в релизе доступен вариант
tiny-aya-global-tool-calling-sft. - Поддерживает загрузку в 4-битном режиме с использованием библиотеки
peftиbitsandbytes.
Что можно сделать
- Подключить к локальному ассистенту или чат-боту для автоматического выбора API и подстановки аргументов по запросу пользователя.
- Протестировать качество генерации вызовов функций на базе
tiny-aya-globalв некоммерческих R&D-экспериментах с длинным контекстом до 8192 токенов.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_id = "CohereLabs/tiny-aya-global"
adapter_id = "skshreyas714/tiny-aya-global-tool-calling-500steps"
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base = AutoModelForCausalLM.from_pretrained(base_id, device_map={"": 0})
model = PeftModel.from_pretrained(base, adapter_id).eval()
Подробнее
Обучение: 500 шагов (TRL SFTTrainer), lr 1e-4, batch size 2 с gradient accumulation 4, BF16.Ограничения: только для некоммерческих исследований (лицензия CC-BY-NC от Cohere Labs и ограничения датасета APIGen-MT).
Важно: сгенерированный вызов инструмента необходимо валидировать по схеме и правам доступа перед выполнением.










Comments