Датасет · argilla
Пары предпочтений OpenHermesPreferences
argilla/OpenHermesPreferences
Около 1 млн пар ответов с оценками предпочтений для reward-моделей и выравнивания LLM.
Что внутри
Текстовый датасет на английском примерно на 1 млн AI-предпочтений. Построен из teknium/OpenHermes-2.5: ответы исходного датасета сравниваются с генерациями Mixtral-8x7B-Instruct-v0.1 и Nous-Hermes-2-Yi-34B, а PairRM ранжирует их. Подходит для обучения моделей предпочтений и выравнивания языковых моделей.
Что можно сделать
- Обучить reward-модель на парах предпочтений.
- Провести RLHF-выравнивание языковой модели.
- Оценить модель по ранжированию ответов.
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,2 тыс.
- Лайков
- 224
Модели, обученные на нём
- Zyphra/Zamba2-1.2B-instructГенерация текста 7,2 тыс.
- mradermacher/Llama-3.2-SUN-2.5B-chat-i1-GGUF 2,2 тыс.
- mradermacher/Llama-3.2-SUN-HDIC-1B-Instruct-i1-GGUF 1,5 тыс.
- Zyphra/Zamba2-2.7B-instructГенерация текста 1,2 тыс.
- mradermacher/Llama-3.2-SUN-1B-chat-i1-GGUF 1,2 тыс.
- meditsolutions/Llama-3.2-SUN-2.5B-chatГенерация текста 898
- mradermacher/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO-v2-i1-GGUF 882
- mradermacher/Llama-3.2-SUN-2.5B-chat-GGUF 565
Как загрузить
from datasets import load_dataset
ds = load_dataset("argilla/OpenHermesPreferences")