LevelUp AI
QLoRA адаптер для Llama-3.2-3B-Instruct
1 мин чтенияобновлено
Новый QLoRA-адаптер (QLoRA — метод эффективного дообучения больших языковых моделей с пониженной точностью) наделяет базовую модель Llama-3.2-3B-Instruct семью различными коучинговыми персонами для геймифицированного приложения по саморазвитию. Модель обучена на 76 616 отобранных примерах и содержит только веса адаптера, которые нужно загружать поверх базовой модели. Решение подойдет разработчикам, создающим интерактивных ботов-помощников с уникальными стилями общения.
Ключевые особенности
- Семь уникальных коучинговых персон для разнообразных сценариев взаимодействия.
- Обучение методом QLoRA в 4-битном формате NF4 с использованием библиотек transformers и peft.
- Оптимизированные целевые модули q, k, v, o, gate, up и down проекций.
- Документированная оценка на 200 отложенных примерах с улучшением метрик ROUGE.
Что можно сделать
- Внедрить адаптер в Telegram-бот или веб-приложение для интерактивного коучинга.
- Использовать различные персоны для геймифицированных задач саморазвития и мотивации пользователей.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = "unsloth/Llama-3.2-3B-Instruct"
model = AutoModelForCausalLM.from_pretrained(base, device_map="auto")
model = PeftModel.from_pretrained(model, "veeravenkatsai/levelup-qlora-llama3.2-3b")
tok = AutoTokenizer.from_pretrained(base)Подробнее
Бенчмарки (на 200 примерах): ROUGE-L вырос с 0.1570 до 0.2665 (+70% относительного улучшения).Параметры обучения: 3 эпохи, скорость обучения 2e-4, размер батча 16, максимальная длина последовательности 512.
Ограничения: адаптер не проходил специализированную настройку безопасности для медицинских, финансовых или психологических советов.










Комментарии