Датасет · BAAI
Пары предпочтений Infinity-Preference
BAAI/Infinity-Preference
59 438 инструкций с парами предпочтений для RLHF на английском и китайском.
Что внутри
Датасет содержит 59 438 равномерно отобранных инструкций из Infinity-Instruct по типам задач. К каждой инструкции приложена пара предпочтений, выбранная из ответов Gemma-2-9B-IT. Языки — английский и китайский; веса атрибутов предпочтений настраиваются по разметке способностей Infinity Instruct. Формат — текстовые пары инструкция/предпочтение.
Что можно сделать
- Обучение reward-модели для RLHF
- DPO-дообучение инструкционной модели
- Оценка согласованности предпочтений на en/zh
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский, Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 213
- Лайков
- 83
Модели, обученные на нём
- mika127/mini_qwen_ptГенерация текста 349
- BAAI/Aquila-VL-2B-llava-qwenВопросы по картинкам 227
- chenyongxi/Qwen2.5-1.5B-DPO-1.5BГенерация текста 42
- chenyongxi/Qwen2.5-1.5B-SFT-DPO-InfinityPreferenceГенерация текста 28
- qiufengqijun/mini_qwen_dpoГенерация текста 27
- TULLUS/Aquila-VL-2B-llava-qwenВопросы по картинкам 27
- qiufengqijun/mini_qwen_ptГенерация текста 25
- qiufengqijun/mini_qwen_pt3Генерация текста 25
Как загрузить
from datasets import load_dataset
ds = load_dataset("BAAI/Infinity-Preference")