Датасет · argilla
Датасет предпочтений на базе диалогов Capybara
argilla/Capybara-Preferences
Англоязычные многоходовые диалоги для выравнивания LLM и обучения по предпочтениям (RLHF/DPO).
Что внутри
Внутри лежат диалоги на английском языке, собранные на основе инструктивного датасета LDJnr/Capybara с помощью инструмента distilabel. Из исходных бесед убрали последнюю реплику ассистента, чтобы превратить историю переписки до последнего вопроса пользователя в базу для оценки предпочтений. Объём набора составляет от 10 до 100 тысяч записей в текстовом и табличном виде.
Что можно сделать
- Дообучение языковых моделей с помощью RLHF или DPO на многоходовых диалогах
- Обучение reward-моделей для оценки качества ответов ассистента
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 285
- Лайков
- 48
Модели, обученные на нём
- mradermacher/mistral-7b-orpo-v5.0-GGUF 600
- nlee-208/inverted-orpo-mistral-capybaraГенерация текста 93
- orpo-explorers/kaist-mistral-orpo-OHP-15k-Stratified-1-beta-0.2-2epoch-capybara-1epochГенерация текста 9
- orpo-explorers/kaist-mistral-orpo-OHP-15k-Stratified-1-beta-0.2-1epoch-capybara-2epochГенерация текста 8
Как загрузить
from datasets import load_dataset
ds = load_dataset("argilla/Capybara-Preferences")