Датасет · argilla
Бинаризованные предпочтения UltraFeedback
argilla/ultrafeedback-binarized-preferences-cleaned
Очищенные пары предпочтений из UltraFeedback для fine-tuning языковых моделей.
Что внутри
Табличный и текстовый датасет на английском, от 10 тыс. до 100 тыс. примеров. Это новая версия бинаризации UltraFeedback по средним оценкам предпочтений, которую Argilla рекомендует для fine-tuning. Данные очищены.
Что можно сделать
- RLHF/DPO fine-tuning
- Обучение reward-модели
- Оценка качества ответов LLM
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 13,2 тыс.
- Лайков
- 175
Модели, обученные на нём
- wenbopan/Faro-Yi-9B-DPOГенерация текста 9,1 тыс.
- wenbopan/Faro-Yi-34B-DPOГенерация текста 9,1 тыс.
- MoxoffSrL/Moxoff-Phi3Mini-DPOГенерация текста 3,3 тыс.
- MoxoffSrL/Moxoff-Phi3Mini-PPOГенерация текста 3,3 тыс.
- MoxoffSrL/Moxoff-Phi3Mini-ORPOГенерация текста 3,3 тыс.
- MoxoffSrL/Moxoff-Phi3Mini-KTOГенерация текста 3,2 тыс.
- TheBloke/dolphin-2.6-mistral-7B-dpo-GGUF 2,2 тыс.
- mradermacher/Faro-Yi-34B-DPO-i1-GGUF 1,7 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("argilla/ultrafeedback-binarized-preferences-cleaned")