Датасет · openbmb
Датасет предпочтений UltraFeedback
openbmb/UltraFeedback
64K промптов и 256K ответов LLM с оценками для обучения reward- и critic-моделей.
Что внутри
UltraFeedback — англоязычный датасет предпочтений. Промпты собраны из UltraChat, ShareGPT, Evol-Instruct, TruthfulQA, FalseQA и FLAN. На каждый промпт опрошено несколько LLM и получено по 4 ответа, всего около 256K примеров.
Что можно сделать
- Обучить reward-модель
- Запустить RLHF-обучение
- Обучить critic-модель для оценки ответов
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 20,9 тыс.
- Лайков
- 449
Модели, обученные на нём
- UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3Генерация текста 9,1 тыс.
- UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter2Генерация текста 9,1 тыс.
- UCLA-AGI/Mistral7B-PairRM-SPPO-Iter3Генерация текста 8,8 тыс.
- legraphista/Gemma-2-9B-It-SPPO-Iter3-IMat-GGUFГенерация текста 8,8 тыс.
- UCLA-AGI/Mistral7B-PairRM-SPPO-Iter2Генерация текста 8,7 тыс.
- HuggingFaceH4/zephyr-7b-alphaГенерация текста 4,8 тыс.
- tastypear/CausalLM-14B-DPO-alpha-GGUFГенерация текста 3,6 тыс.
- TheBloke/zephyr-7B-alpha-GGUF 2,9 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/UltraFeedback")