Датасет · Dahoas
HH RLHF: промпты, выбранные и отвергнутые ответы
Dahoas/full-hh-rlhf
Переформатированный Anthropic HH в виде prompt, chosen и rejected для обучения предпочтениям.
Что внутри
Датасет представляет собой текстовые примеры из Anthropic HH, преобразованные в поля prompt, chosen и rejected. Внутри от 100 тыс. до 1 млн примеров; язык в карточке не указан. Формат удобен для задач сравнения ответов и обучения по предпочтениям.
Что можно сделать
- Обучение reward-модели на парах выбранного и отвергнутого ответа
- DPO или RLHF-дообучение инструктивной языковой модели
- Оценка качества ответов ассистента по предпочтениям
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 701
- Лайков
- 108
Модели, обученные на нём
- mradermacher/stablelm-tuned-alpha-7b-i1-GGUF 2,5 тыс.
- stabilityai/stablelm-tuned-alpha-3bГенерация текста 1,7 тыс.
- mradermacher/stablelm-tuned-alpha-7b-GGUF 1,3 тыс.
- stabilityai/stablelm-tuned-alpha-7bГенерация текста 1,2 тыс.
- mradermacher/stablelm-tuned-alpha-3b-16bit-i1-GGUF 1,1 тыс.
- mradermacher/stablelm-tuned-alpha-3b-16bit-GGUF 533
- mradermacher/Mistral-7B-Instruct-v0.2-DPO-GGUF 285
- keyfan/bloomz-rlhfГенерация текста 94
Как загрузить
from datasets import load_dataset
ds = load_dataset("Dahoas/full-hh-rlhf")