Датасет · HuggingFaceH4
Пары предпочтений для чат-моделей
HuggingFaceH4/ultrafeedback_binarized
Обработанный UltraFeedback: 64 тыс. промптов с ответами моделей и оценками GPT-4, сведёнными в пары предпочтений.
Что внутри
Это предобработанная версия UltraFeedback, на которой обучали Zephyr-7B-beta. Исходно в наборе 64 тыс. промптов, к каждому — четыре ответа от открытых и проприетарных моделей; GPT-4 оценивал их по заданным критериям. Бинаризованная версия представлена в табличном и текстовом формате на английском.
Что можно сделать
- Обучить reward model для RLHF
- Дообучить чат-модель через DPO
- Проверить качество генерации по предпочтениям
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 37,2 тыс.
- Лайков
- 362
Модели, обученные на нём
- TinyLlama/TinyLlama-1.1B-Chat-v1.0Генерация текста 965,5 тыс.
- HuggingFaceH4/zephyr-7b-betaГенерация текста 66,6 тыс.
- stabilityai/stablelm-zephyr-3bГенерация текста 24 тыс.
- tenyx/Llama3-TenyxChat-70BГенерация текста 9 тыс.
- Zyphra/Zamba2-1.2B-instructГенерация текста 7,2 тыс.
- xiuyul/mamba-2.8b-zephyr 6,5 тыс.
- TheBloke/zephyr-7B-beta-GGUF 3,7 тыс.
- sapienzanlp/Minerva-7B-instruct-v1.0Генерация текста 2,3 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceH4/ultrafeedback_binarized")