Датасет · Skywork
Очищенные предпочтения Skywork 80K v0.2
Skywork/Skywork-Reward-Preference-80K-v0.2
80 тыс. пар предпочтений для reward-моделей, очищенных от пересечений с RewardBench.
Что внутри
Текстовый датасет пар предпочтений Skywork-Reward-Preference-80K v0.2. Это деконтаминированная версия v0.1: удалены 4 957 пар из подмножества magpie-ultra-v0.1, сильно пересекающихся по n-граммам с evaluation prompts RewardBench. Для задач с оценкой на RewardBench рекомендуется использовать v0.2 вместо v0.1.
Что можно сделать
- Обучение reward-модели для RLHF
- Оценка reward-моделей на RewardBench
- Сравнение предпочтений для alignment
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 1,8 тыс.
- Лайков
- 73
Модели, обученные на нём
- Skywork/Skywork-Reward-Llama-3.1-8B-v0.2Классификация текста 14,1 тыс.
- Skywork/Skywork-Reward-Gemma-2-27B-v0.2Классификация текста 4,1 тыс.
- Ray2333/GRM-Llama3.2-3B-rewardmodel-ftКлассификация текста 2,1 тыс.
- mradermacher/Qwen3-Nemotron-8B-BRRM-i1-GGUF 1,5 тыс.
- nvidia/Qwen3-Nemotron-8B-BRRMГенерация текста 1,4 тыс.
- Ray2333/GRM-gemma2-2B-rewardmodel-ftКлассификация текста 841
- mradermacher/Qwen3-Nemotron-14B-BRRM-i1-GGUF 761
- mradermacher/DeepSeek-GRM-27B-i1-GGUF 610
Как загрузить
from datasets import load_dataset
ds = load_dataset("Skywork/Skywork-Reward-Preference-80K-v0.2")