MindCare
адаптер для эмпатичных и поддерживающих диалогов
1 мин чтенияобновлено
MindCare — это LoRA (небольшая надстройка над базовой моделью) для языковой модели unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit, созданная для эмпатичного общения, рефлексии и общих советов по улучшению самочувствия. Модель не заменяет врача или психотерапевта, но помогает выстраивать мягкие и поддерживающие беседы в разговорных интерфейсах. Разработка опирается на 8-миллиардную версию Llama 3.1 и поставляется в формате safetensors с готовым шаблоном чата. Адаптер пригодится разработчикам чат-ботов для ментального благополучия и исследователям текстовых моделей.
Ключевые особенности
- Базируется на эффективной 4-битной версии Llama 3.1 8B.
- Настроена на мягкое, эмпатичное и поддерживающее общение.
- Использует PEFT и LoRA-адаптер с рангом r=16 и alpha=32.
- Включает в себя настроенный токенайзер и шаблон чата
chat_template.jinja.
Что можно сделать
- Интегрировать адаптер в экспериментальный чат-бот для эмоциональной поддержки пользователей.
- Создать помощника для ежедневной рефлексии и ведения дневника.
- Использовать в исследовательских проектах по изучению тональности диалогов LLM.
Пример
Пример загрузки базовой модели и LoRA-адаптера на Python:
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_id = "unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit"
adapter_id = "Interact-ai/mindcare"
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
model = AutoModelForCausalLM.from_pretrained(
base_id,
device_map="auto",
torch_dtype=torch.float16,
)
model = PeftModel.from_pretrained(model, adapter_id)
Подробнее
Базовая модель:unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bitТип архитектуры: LoRA / PEFT (задействованы модули q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj)
Версия PEFT: 0.21.2
Ограничения: модель не прошла клиническую валидацию и не заменяет квалифицированную помощь в кризисных ситуациях.










Комментарии