К содержимому

Датасет · PKU-Alignment

Данные безопасности и выравнивания PKU-SafeRLHF

PKU-Alignment/PKU-SafeRLHF-10K

Табличный и текстовый корпус для обучения и оценки безопасности языковых моделей методом RLHF.

Что внутри

Датасет на английском языке, содержащий от 10 до 100 тысяч записей в табличном и текстовом форматах. Он предназначен для задач генерации текста и связан с научной статьей (arXiv:2307.04657) по выравниванию моделей.

Что можно сделать

  • Обучение reward-моделей для RLHF с учетом безопасности ответов
  • Дообучение (SFT) или выравнивание LLM для снижения токсичности и вреда
Задачи
Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
1,5 тыс.
Лайков
63

Как загрузить

from datasets import load_dataset

ds = load_dataset("PKU-Alignment/PKU-SafeRLHF-10K")