Датасет · argilla
Смесь DPO-данных с высокими оценками
argilla/dpo-mix-7k
Небольшой англоязычный DPO-набор из отфильтрованных пар с высоко оценёнными выбранными ответами.
Что внутри
Текстовые и табличные данные для DPO: смесь наборов Argilla, собранных с distilabel. В карточке указаны компоненты distilabel-capybara-dpo-7k-binarized (случайная выборка chosen с оценкой >=4) и distilabel-intel-orca-dpo-pairs. Язык — английский, размер — 1K–10K примеров.
Что можно сделать
- Обучить DPO/LoRA для выравнивания модели
- Проверить RLHF-пайплайн на небольшом наборе
- Сравнить качество DPO-моделей
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 763
- Лайков
- 184
Модели, обученные на нём
- TheBloke/CapybaraHermes-2.5-Mistral-7B-GGUF 5,4 тыс.
- mradermacher/walrus-gemma-2-9b-it-v01-i1-GGUF 2,1 тыс.
- mradermacher/Llama3-Aloe-8B-Alpha-GGUF 1,5 тыс.
- mradermacher/CapybaraHermes-2.5-Mistral-7B-i1-GGUF 856
- MaziyarPanahi/zephyr-7b-gemma-v0.1-GGUFГенерация текста 680
- mradermacher/walrus-gemma-2-9b-it-v01-GGUF 542
- TheBloke/CapybaraHermes-2.5-Mistral-7B-GPTQ 494
- HPAI-BSC/Llama3-Aloe-8B-AlphaВопрос-ответ 492
Как загрузить
from datasets import load_dataset
ds = load_dataset("argilla/dpo-mix-7k")