Qwen2.5-3B SlimOrca DPO

Это 3,09B-модель генерации текста от kurbanovxurshidbek на базе Qwen2.5. Её дообучили с чекпоинта qwen2.5-3b-slimorca-sft через DPO с библиотекой TRL. Подходит для инструкций и диалогов, но карточка не приводит оценок качества.

😎 Ключевые особенности

• 🔥 База Qwen2.5 размером 3,09B — компактный вариант для генерации текста.
• 💻 Двухэтапная настройка: сначала SlimOrca SFT, затем DPO.
• 🔮 Обучение выполнено через TRL 1.14.1; запуск возможен через transformers pipeline.
• 📚 В карточке есть готовый пример инференса для text-generation.
• ✅ Модель не привязана в описании к одному языку или узкой задаче.

💻 Пример

from transformers import pipeline
generator = pipeline('text-generation', model='kurbanovxurshidbek/qwen2.5-3b-slimorca-sft-orca-dpo', device_map='auto')
messages = [{'role': 'user', 'content': 'If you had a time machine, which would you choose and why?'}]
output = generator(messages, max_new_tokens=128, return_full_text=False)[0]
print(output['generated_text'])

Подробнее

DPO-дообучение после чекпоинта qwen2.5-3b-slimorca-sft; фреймворк TRL 1.14.1.
Бенчмарков, данных DPO и требований к VRAM в карточке нет.
Языки не указаны — качество на русском отдельно не подтверждено.