Caracal Instruct v2
инструктивный LoRA-адаптер для африканской LLM
2 мин чтенияобновлено
Caracal Instruct v2 — это PEFT LoRA-адаптер (небольшая надстройка для дообучения без изменения весов всей нейросети) от разработчика theophilusowiti поверх базовой языковой модели Caracal_GPT. Адаптер превращает базовую модель в диалогового ассистента, который умеет следовать инструкциям в формате ChatML. На выходе вы получаете ответы на запросы пользователя сразу на 9 языках: английском, суахили, амхарском, луганда, киньяруанда, хауса, йоруба, игбо и лингала. Пригодится разработчикам мультиязычных чат-ботов и исследователям, работающим с малоресурсными языками Африки.
Ключевые особенности
- Поддержка 9 языков: английский, суахили, амхарский, луганда, киньяруанда, хауса, йоруба, игбо и лингала.
- Оптимизация под диалоги и выполнение инструкций с использованием шаблона ChatML.
- Обучение методом SFT (Supervised Fine-Tuning) с помощью библиотеки
trlна датасетеCaracal_Instruct_Dataset. - Открытая лицензия Apache 2.0, разрешающая свободное и коммерческое использование.
Что можно сделать
- Встроить в чат-бота или справочный сервис для общения с пользователями на африканских языках и английском.
- Использовать в NLP-исследованиях как готовый базовый адаптер для оценки качества генерации на малоресурсных языках.
- Дообучить под узкие прикладные задачи поверх связки
Caracal_GPTиCaracal_instruct_v2через библиотекуpeft.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("theophilusowiti/Caracal_GPT")
base = AutoModelForCausalLM.from_pretrained("theophilusowiti/Caracal_GPT", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "theophilusowiti/Caracal_instruct_v2")
inputs = tok.apply_chat_template([{"role": "user", "content": "Who is the president of Kenya?"}], return_tensors="pt", add_generation_prompt=True).to(model.device)
print(tok.decode(model.generate(inputs, max_new_tokens=100)[0], skip_special_tokens=True))
Подробнее
Архитектура: Causal Language Model с адаптером PEFT LoRA на базеtheophilusowiti/Caracal_GPT.Обучение:
SFTTrainer из trl на датасете theophilusowiti/Caracal_Instruct_Dataset.Метрики и требования к VRAM в карточке не указаны (логи обучения велись в Weights & Biases).










Комментарии