Датасет · berkeley-nest
Nectar: рейтинги из 7 ответов на чат-промпты
berkeley-nest/Nectar
Чат-промпты с несколькими ответами и ранжированием от GPT-4 — для обучения reward-моделей и RLHF.
Что внутри
По словам авторов, первый крупный датасет 7-wise сравнений: на каждый промпт дано несколько ответов и точные метки их ранжирования, полученные с помощью GPT-4. Промпты собраны из разных источников, ответы разнообразные и качественные. Язык — английский; лицензия Apache-2.0 с условием не использовать данные для конкуренции с OpenAI.
Что можно сделать
- Обучение reward-модели для RLHF
- Оценка и сравнение качества ответов чат-LLM
- Дообучение модели предсказывать предпочтения пользователей
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 2,8 тыс.
- Лайков
- 308
Модели, обученные на нём
- TheBloke/Starling-LM-7B-alpha-GGUF 3,9 тыс.
- berkeley-nest/Starling-LM-7B-alphaГенерация текста 2,1 тыс.
- mradermacher/REBEL-OpenChat-3.5-i1-GGUF 2,1 тыс.
- Nexusflow/Starling-LM-7B-betaГенерация текста 2 тыс.
- qwp4w3hyb/Starling-LM-7B-beta-iMat-GGUF 1,8 тыс.
- mradermacher/Storm-7B-i1-GGUF 1,6 тыс.
- mradermacher/REBEL-OpenChat-3.5-GGUF 1,1 тыс.
- lmstudio-community/Starling-LM-7B-beta-GGUFГенерация текста 689
Как загрузить
from datasets import load_dataset
ds = load_dataset("berkeley-nest/Nectar")