qwen2.5-3b-personalized-email-lora
генератор писем в нужном стиле без ИИ-штампов
2 мин чтенияобновлено
LoRA-адаптер (небольшая надстройка над базовой моделью) от Kami0867 на базе компактной Qwen2.5-3B-Instruct, дообученный для составления персонализированных электронных писем на английском языке. Модель принимает в системном промпте описание роли (персоны) и профиль стиля — от степени формальности до любимых фраз — и пишет текст по заданным тезисам. Главное отличие от базовой модели в том, что адаптер целенаправленно отучали от типичных корпоративных клише нейросетей вроде «I hope this email finds you well», «delve» или «game-changer». Пригодится разработчикам почтовых ассистентов и тем, кому нужна быстрая локальная генерация живой рабочей переписки.
Ключевые особенности
- Тонкая настройка стиля: понимает структурированный профиль (формальность, тон, прямолинейность, длина предложений, привычки форматирования и характерные фразы).
- Фильтр ИИ-штампов (Anti-Slop): обучена избегать списка заезженных англоязычных канцеляризмов и шаблонных оборотов.
- Быстрая работа локально: при квантовании в 4-bit NF4 занимает около 5.7 ГБ памяти вместе с KV-кэшем и генерирует письмо быстрее чем за 2 секунды.
- Простая интеграция: работает через библиотеку PEFT с шаблоном ChatML или запускается в Ollama после объединения весов.
Что можно сделать
- Встроить в локального почтового бота или плагин для составления черновиков ответов в фирменном стиле конкретного сотрудника.
- Настроить несколько профилей персон (например, строгий руководитель или лаконичный инженер) для автоматической генерации писем по кратким заметкам.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_model = "Qwen/Qwen2.5-3B-Instruct"
model = AutoModelForCausalLM.from_pretrained(base_model, device_map="auto")
model = PeftModel.from_pretrained(model, "Kami0867/qwen2.5-3b-personalized-email-lora")
tokenizer = AutoTokenizer.from_pretrained(base_model)
Подробнее
Обучена методом QLoRA (4-bit NF4, r=16, alpha=32) методом SFT в течение 3 эпох (~4.8 часа на одной RTX 5060 Ti 8 ГБ, финальный train_loss — 0.5564).Датасет: ~12 000 синтетических писем с персонами из FinePersonas и PersonaHub.
Требования и скорость: ~4.2 ГБ VRAM под модель в 4-bit + ~1.5 ГБ под KV-кэш; скорость ~15–20 токенов/с на RTX 5060 Ti.
Ограничения: только английский язык; данные синтетические, поэтому редкие стили могут передаваться неидеально; лицензия Apache-2.0.










Комментарии