Qwen2.5-7B DPO
выравнивание базовой модели по предпочтениям
1 min readupdated
Файнтюн модели Qwen2.5-7B от автора HCY123902, дообученный методом DPO (Direct Preference Optimization) с помощью библиотеки TRL. Задача — text-generation: модель учили выдавать ответы, которые ближе к предпочтениям человека, чем у исходной базы.
Ключевые особенности
- База — Qwen2.5-7B, то есть 7B-параметровая LLM общего назначения
- Обучение через DPO: модель оптимизируется напрямую по парам «лучше/хуже», без отдельной reward-модели
- Стек: TRL 0.20.0, Transformers 4.54.1, PyTorch 2.7.1+cu128, Datasets 3.6.0, Tokenizers 0.21.1
- Запускается стандартным
pipeline("text-generation")из Transformers - Логи обучения выложены в открытом W&B-ране
Пример
from transformers import pipeline
question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
generator = pipeline("text-generation", model="HCY123902/qwen25_7b_base_gn_ssss_n32_r1_no_know_in_rubric_dpo", device="cuda")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])
Подробнее
Метод: DPO (Rafailov et al., NeurIPS 2023), реализация — TRL.Бенчмарков в карточке нет — только ссылка на W&B-ран.
Требования к VRAM и данные обучения не указаны; ориентируйтесь на 7B-базу.
Стек обучения: PyTorch 2.7.1+cu128, Transformers 4.54.1.










Comments