Датасет · mlabonne
Смесь предпочтений для ORPO и DPO
mlabonne/orpo-dpo-mix-40k
40 тыс. примеров из нескольких DPO-датасетов для обучения моделей предпочтениям.
Что внутри
mlabonne/orpo-dpo-mix-40k — смесь, предназначенная для ORPO или DPO-обучения. Она собрана из нескольких высококачественных DPO-наборов с отбором выбранных ответов по оценкам: например, Capybara-Preferences (7 424 примера), distilabel-intel-orca-dpo-pairs (2 299) и ultrafeedback-binarized-preferences-cleaned. Данные текстовые, на английском, объём — от 10 тыс. до 100 тыс. примеров.
Что можно сделать
- Обучить Llama 3 или LoRA через ORPO
- Провести DPO-выравнивание ассистента
- Сравнить стратегии отбора предпочтений
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 613
- Лайков
- 318
Модели, обученные на нём
- mlabonne/NeuralDaredevil-8B-abliteratedГенерация текста 16,4 тыс.
- Danielbrdz/Barcenas-14b-Phi-3-medium-ORPOГенерация текста 9,2 тыс.
- Kukedlc/NeuralLLaMa-3-8b-ORPO-v0.3Генерация текста 9,1 тыс.
- dfurman/Llama-3-8B-Orpo-v0.1Генерация текста 9,1 тыс.
- swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITAГенерация текста 3,6 тыс.
- QuantFactory/NeuralDaredevil-8B-abliterated-GGUFГенерация текста 3,4 тыс.
- mradermacher/Medichat-Llama3-8B-i1-GGUF 2,1 тыс.
- anakin87/gemma-2-2b-neogenesis-itaГенерация текста 1,9 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlabonne/orpo-dpo-mix-40k")