PresenceAI Sjofn-Eir-31B-DPO-LoRA v1.0
адаптер для диалоговых моделей
1 мин чтенияобновлено
Модель представляет собой PEFT DPO LoRA (небольшая надстройка над базовой моделью для настройки методом прямых предпочтений) адаптер для связки моделей Gemma-4-31B и SFT-версии Sjofn. Она выступает в роли промежуточного модуля теплоты и вовлечения в диалоговых сценариях для длительных ролевых сессий. Адаптер обучен методом On-Policy Balanced DPO для удержания внимания пользователя и плавного преодоления барьеров взаимодействия. Полезен разработчикам диалоговых систем и чат-ботов на базе больших языковых моделей.
Ключевые особенности
- Архитектура LoRA (ранг r=16, alpha=32) на базе Gemma-4-31B.
- Обучение методом On-Policy Balanced DPO с жестким контролем длины ответов.
- Назначение: удержание вовлеченности пользователя на средних этапах диалога.
- Совместимость с фреймворком vLLM для динамической подгрузки адаптеров.
Что можно сделать
- Применить адаптер в составе маршрутизатора vLLM для обслуживания диалоговых сессий.
- Интегрировать в кастомные конвейеры чат-ботов на базе Gemma-4 для улучшения удержания пользователей.
- Использовать в качестве компонента многомодельной композитной системы генерации текста.
Пример
vllm serve ./Gemma-4-31B-StyleTune-SFT-v9-merged \
--served-model-name gemma-4-31b-sft-v9 \
--host 0.0.0.0 --port 8003 \
--max-model-len 32768 --dtype bfloat16Подробнее
Бенчмарки: рост конверсии вовлечения до 50.1% и глубины диалогов на 12.5%.Требования к железу: GPU с достаточной VRAM для модели 31B с контекстом 32k.
Лицензия: Apache-2.0.










Комментарии