Qwen2.5-3B SlimOrca DPO
компактная инструкт-модель после SFT и DPO
1 min readupdated
Это 3,09B-модель генерации текста от kurbanovxurshidbek на базе Qwen2.5. Её дообучили с чекпоинта qwen2.5-3b-slimorca-sft через DPO с библиотекой TRL. Подходит для инструкций и диалогов, но карточка не приводит оценок качества.
Ключевые особенности
- База Qwen2.5 размером 3,09B — компактный вариант для генерации текста.
- Двухэтапная настройка: сначала SlimOrca SFT, затем DPO.
- Обучение выполнено через TRL 1.14.1; запуск возможен через
transformerspipeline. - В карточке есть готовый пример инференса для
text-generation. - Модель не привязана в описании к одному языку или узкой задаче.
Пример
from transformers import pipeline
generator = pipeline('text-generation', model='kurbanovxurshidbek/qwen2.5-3b-slimorca-sft-orca-dpo', device_map='auto')
messages = [{'role': 'user', 'content': 'If you had a time machine, which would you choose and why?'}]
output = generator(messages, max_new_tokens=128, return_full_text=False)[0]
print(output['generated_text'])
Подробнее
DPO-дообучение после чекпоинта qwen2.5-3b-slimorca-sft; фреймворк TRL 1.14.1.Бенчмарков, данных DPO и требований к VRAM в карточке нет.
Языки не указаны — качество на русском отдельно не подтверждено.










Comments