Датасет · jondurbin
DPO-датасет для правдивости LLM
jondurbin/truthy-dpo-v0.1
Пары предпочтений для DPO, повышающие правдивость модели без потери отыгрывания роли человека.
Что внутри
Truthy DPO — текстовый датасет для повышения общей правдивости LLM без ущерба для ролевого отыгрыша человека. Учит различать ситуации: обычный ассистент не должен описывать, каково ощущать тепло солнца, а при системном промпте «я человек» — должен. В основном затрагивает телесное, пространственное и временное восприятие, а также частые заблуждения. Размер — от 1K до 10K примеров.
Что можно сделать
- Дообучение LLM через DPO для правдивости
- Настроить ролевой отыгрыш человека без потери фактов
- Оценить склонность модели к выдумкам о восприятии
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 973
- Лайков
- 142
Модели, обученные на нём
- vicgalle/CarbonBeagle-11B-truthyГенерация текста 9,2 тыс.
- wenbopan/Faro-Yi-9B-DPOГенерация текста 9,1 тыс.
- jondurbin/bagel-dpo-34b-v0.2Генерация текста 9,1 тыс.
- wenbopan/Faro-Yi-34B-DPOГенерация текста 9,1 тыс.
- jondurbin/bagel-dpo-34b-v0.5Генерация текста 9 тыс.
- jondurbin/bagel-8b-v1.0Генерация текста 9 тыс.
- jondurbin/airoboros-dpo-70b-3.3Генерация текста 9 тыс.
- mradermacher/bagel-34b-v0.5-i1-GGUF 3,8 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("jondurbin/truthy-dpo-v0.1")