Датасет · llamafactory
DPO-En-Zh-20k: предпочтения EN/ZH
llamafactory/DPO-En-Zh-20k
20 тыс. пар предпочтений на английском и китайском для DPO-обучения в LLaMA Factory.
Что внутри
Смесь четырёх открытых DPO-наборов: 4 тыс. из capybara, 3 тыс. из Intel Orca, 3 тыс. из UltraFeedback и 10 тыс. из Chinese-dpo-pairs. Примеры отобраны по порогам оценок chosen (>=4 или >=8). Всего от 10 до 100 тыс. текстовых пар; в LLaMA Factory подключается как dpo_mix_en и dpo_mix_zh.
Что можно сделать
- Обучить DPO/LoRA на смеси английских и китайских предпочтений
- Настроить LLaMA Factory для alignment-экспериментов
- Сравнить качество alignment на EN и ZH
- Задачи
- Генерация текста
- Языки
- Английский, Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 415
- Лайков
- 106
Как загрузить
from datasets import load_dataset
ds = load_dataset("llamafactory/DPO-En-Zh-20k")