Датасет · nvidia
Данные для выравнивания HelpSteer3
nvidia/HelpSteer3
Открытый датасет для обучения reward-моделей и выравнивания полезных ответов; 100 тыс.–1 млн примеров.
Что внутри
HelpSteer3 — открытый датасет (CC-BY-4.0) для alignment моделей, чтобы они полезнее отвечали на запросы. Включает HelpSteer3-Preference для обучения генеративных reward-моделей на Llama 3.3 Nemotron Super 49B v1 и Bradley-Terry RM на Llama 3.3 70B Instruct, а также HelpSteer3-Feedback. Языки: en, zh, ko, fr, es, ru; размер 100K<n<1M; формат в карточке не указан.
Что можно сделать
- Обучить reward-модель для RLHF
- Настроить Llama 3.3 70B Instruct как Bradley-Terry RM
- Проверить качество на RM-Bench и JudgeBench
- Языки
- Английский, Китайский, Корейский, Французский, Испанский, Русский, Японский, Немецкий и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 19,3 тыс.
- Лайков
- 119
Модели, обученные на нём
- LumiOpen/Llama-Poro-2-8B-InstructГенерация текста 4,1 тыс.
- jaredpalmer/kev-27bКлассификация текста 3,2 тыс.
- bartowski/allura-org_Q3-30B-A3B-Designant-GGUFГенерация текста 2,8 тыс.
- nvidia/Llama-3_3-Nemotron-Super-49B-GenRMГенерация текста 2,2 тыс.
- mradermacher/Q3-Nilcall-32B-v0.1-i1-GGUF 2,2 тыс.
- bartowski/nvidia_Llama-3_3-Nemotron-Super-49B-GenRM-Multilingual-GGUFГенерация текста 1,9 тыс.
- mradermacher/kev-27b-GGUFmultiple choice 1,8 тыс.
- LumiOpen/Llama-Poro-2-70B-InstructГенерация текста 1,7 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/HelpSteer3")