Датасет · HuggingFaceH4
Пары предпочтений на базе OpenOrca для DPO-тюнинга
HuggingFaceH4/orca_dpo_pairs
Предобработанный английский датасет для выравнивания языковых моделей методом DPO.
Что внутри
Содержит от 10 до 100 тысяч текстовых примеров на английском языке. Это подготовленная для обучения на предпочтениях версия набора OpenOrca, основанного на расширенных данных FLAN из статьи Orca. Набор уже применялся для создания сильных чекпоинтов моделей с настройкой предпочтений.
Что можно сделать
- Выравнивание (alignment) языковых моделей через DPO
- Дообучение чат-моделей следовать инструкциям и рассуждать
- Обучение reward-моделей для оценки качества ответов
- Задачи
- Классификация текста, Разметка токенов, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация, Суммаризация
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 6,5 тыс.
- Лайков
- 32
Модели, обученные на нём
- mradermacher/starchat2-15b-v0.1-i1-GGUF 376
- mradermacher/starchat2-15b-v0.1-GGUF 246
- bartowski/starchat2-15b-v0.1-GGUFГенерация текста 170
- HuggingFaceH4/starchat2-15b-v0.1Генерация текста 159
- amd/Zebra-Llama-3B-14MLA-14Mamba-DPO 123
- tensorblock/starchat2-15b-v0.1-GGUF 60
- skymizer/Llama2-7b-sft-chat-custom-template-dpoГенерация текста 51
- amd/X-EcoMLA-1B8B-fixed-kv64-DPO 32
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceH4/orca_dpo_pairs")