Датасет · Dahoas
Данные для reward-модели
Dahoas/rm-static
Часть hh-static для обучения reward-моделей после supervised fine-tuning.
Что внутри
Это текстовый датасет, выделенный из hh-static для тренировки reward-моделей после SFT. В метаданных указано от 10 до 100 тыс. примеров; язык не указан. Формат и поля в приведённой карточке не детализированы.
Что можно сделать
- Обучить reward-модель для RLHF
- Проверить качество предпочтений после SFT
- Дообучить модель-критик для ранжирования ответов
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 2,6 тыс.
- Лайков
- 124
Модели, обученные на нём
- zen-E/deepspeed-chat-step3-rlhf-actor-model-opt1.3bГенерация текста 20
- zen-E/deepspeed-chat-step1-model-opt1.3bГенерация текста 15
- zen-E/deepspeed-chat-step2-model-opt350mГенерация текста 14
- kaitchup/OPT-1.3B-RLHF-DSChatLoRAГенерация текста 9
- kaitchup/OPT-1.3B-SFT-DSChatLoRAГенерация текста 8
- kaitchup/OPT-350M-RM-DSChatГенерация текста 6
- edu-linguistic/deberta-v3-large-edu-rm 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("Dahoas/rm-static")