Датасет · allenai
Очищенные пары предпочтений UltraFeedback
allenai/ultrafeedback_binarized_cleaned
Бинаризованные пары предпочтений UltraFeedback без промптов TruthfulQA, с аннотациями источников.
Что внутри
Это очищенная версия бинаризованного датасета UltraFeedback. Из неё удалены примеры, которые Argilla отметила как ошибочные, а также промпты TruthfulQA. Добавлены аннотации источников, чтобы можно было самостоятельно фильтровать примеры по происхождению; формат табличный и текстовый.
Что можно сделать
- Обучение reward-модели для RLHF
- DPO/ORPO-дообучение языковой модели
- Оценка качества предпочтений
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 2,1 тыс.
- Лайков
- 74
Модели, обученные на нём
- upstage/SOLAR-10.7B-Instruct-v1.0Генерация текста 48,5 тыс.
- allenai/OLMoE-1B-7B-0924-Instruct-GGUF 10,1 тыс.
- jondurbin/bagel-dpo-34b-v0.2Генерация текста 9,1 тыс.
- jondurbin/bagel-dpo-34b-v0.5Генерация текста 9,1 тыс.
- jondurbin/bagel-8b-v1.0Генерация текста 9,1 тыс.
- jondurbin/airoboros-dpo-70b-3.3Генерация текста 9 тыс.
- stabilityai/stablelm-2-zephyr-1_6bГенерация текста 7,5 тыс.
- allenai/OLMoE-1B-7B-0924-InstructГенерация текста 7,3 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/ultrafeedback_binarized_cleaned")