К содержимому

Датасет · HuggingFaceH4

Пары предпочтений на базе OpenOrca для DPO-тюнинга

HuggingFaceH4/orca_dpo_pairs

Предобработанный английский датасет для выравнивания языковых моделей методом DPO.

Что внутри

Содержит от 10 до 100 тысяч текстовых примеров на английском языке. Это подготовленная для обучения на предпочтениях версия набора OpenOrca, основанного на расширенных данных FLAN из статьи Orca. Набор уже применялся для создания сильных чекпоинтов моделей с настройкой предпочтений.

Что можно сделать

  • Выравнивание (alignment) языковых моделей через DPO
  • Дообучение чат-моделей следовать инструкциям и рассуждать
  • Обучение reward-моделей для оценки качества ответов
Задачи
Классификация текста, Разметка токенов, Вопросы по таблицам, Вопрос-ответ, Zero-shot классификация, Суммаризация
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
6,5 тыс.
Лайков
32

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceH4/orca_dpo_pairs")