SahayakLLM
адаптер для поддержки интернет-магазинов
1 мин чтенияобновлено
Этот QLoRA-адаптер (небольшая надстройка над базовой моделью) на базе Qwen/Qwen2.5-1.5B-Instruct обучен для двух задач: генерации ответов клиентам и классификации запросов в JSON-формате. Модель создана на основе датасета Bitext Customer Support и оптимизирована с 4-битным квантованием. Адаптер пригодится разработчикам автоматизированных систем поддержки и чат-ботов для интернет-магазинов.
Ключевые особенности
- Две задачи: генерация ответов саппорта и роутинг интентов
- Обучение на датасете из 23,875 очищенных записей
- Использование QLoRA с рангом r=16 и альфа-параметром 32
- Высокие показатели макро-F1 для интентов на тестовой выборке
Что можно сделать
- Встроить в чат-бот для автоматических ответов на вопросы покупателей
- Использовать для классификации обращений в структурированный JSON
- Доработать под реальные данные компании на базе Qwen2.5-1.5B
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import torch
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_use_double_quant=True, bnb_4bit_compute_dtype=torch.float16)
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", quantization_config=bnb, device_map={"": 0})
model = PeftModel.from_pretrained(base, "aryan22medigeri/llm-qwen2.5-1.5b-qlora")Подробнее
Бенчмарки (C2): Intent macro-F1 0.999, BERTScore-F1 0.923, ROUGE-L 0.445Требования: 1.5B параметров, 4-битное квантование (NF4)
Ограничения: только английский язык, синтетические данные фиктивной компании KharidiKart, плейсхолдеры требуют проверки инструментом










Комментарии