ZuzeTt/lfm3-1.7b-roleplay
LoRA-адаптер для ролевых игр на базе LFM3-1.7B
2 min readupdated
Компактный LoRA-адаптер (небольшая надстройка над базовой моделью) от автора ZuzeTt, созданный поверх модели LiquidAI/LFM3-1.7B на 1.7 миллиарда параметров. Он учит нейросеть строго придерживаться карточки персонажа, писать в образе и не читать пользователю нотации, при этом сохраняя базовые навыки вроде математики и программирования. Адаптер обучался на отфильтрованном SFW-датасете без откровенного контента, куда вошли английские и русские ролевые диалоги. Подойдёт для запуска лёгких ролевых ботов и локальных экспериментов на слабом железе.
Ключевые особенности
- Обучен на ~8 млн токенов: 4 млн на английском ролевом датасете, 2 млн на русском
pippa_ruи 2 млн на общих инструкцияхultrachat_200k, чтобы не сломать логику и код. - Строго SFW-фильтрация: откровенная лексика и 18+ теги вычищены, но модель перестаёт читать морали и выходить из роли на острых сюжетах.
- Скромные требования: благодаря размеру 1.7B и поддержке 4-битного квантования запускается даже на видеокартах с 4 ГБ VRAM.
- Улучшение метрик: перплексия (показатель неуверенности модели при генерации текста) на отложенной выборке Ultrachat снизилась с 9.79 до 7.06 по сравнению с базой.
Что можно сделать
- Запустить локального ролевого чат-бота с заданной карточкой персонажа в system-промпте на слабом ПК или ноутбуке.
- Генерировать интерактивные текстовые сцены и диалоги от первого или третьего лица на английском или русском языке.
- Интегрировать модель в мобильные или компактные офлайн-приложения через готовые GGUF-квантования (от Q2_K до Q8_0).
Пример
pip install torch transformers peft
python run_roleplay.py \
--system "You are Varek, a ruthless warlord in a dark fantasy kingdom. Stay in character." \
--user "*The village elders kneel before your throne.* We cannot pay the tribute this season, my lord."
Подробнее
Обучение: LoRA r=16, alpha=32, 1 эпоха на одной T4 (1.57 часа), train loss 1.61.Железо: работает на GPU с 4 ГБ памяти при запуске с флагом
--load-in-4bit.Ограничения: из-за размера 1.7B у модели короткая память, русский язык слабее английского, может смешивать повествование от 1-го и 3-го лица (помогает уточнение в system-промпте).
Лицензия: LFM Open License v1.0 (коммерческое использование разрешено компаниям с годовой выручкой до $10 млн).










Comments