Датасет · openbmb
Деревья предпочтений для сложного reasoning
openbmb/UltraInteract_pair
Пары, цепочки рассуждений и многошаговые траектории для preference learning.
Что внутри
UltraInteract — крупный датасет выравнивания для сложных задач рассуждения. Для каждой инструкции есть дерево предпочтений: цепочки рассуждений с разными стратегиями планирования, многошаговые траектории взаимодействия со средой и критикой, а также pairwise-данные для preference learning. Данные текстовые, на английском; размер — от 100 тыс. до 1 млн примеров.
Что можно сделать
- Обучить reward-модель для preference learning
- Настроить LLM через DPO/RLHF на сложных рассуждениях
- Проверить SFT-модель на многошаговых траекториях с критикой
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 957
- Лайков
- 112
Модели, обученные на нём
- mradermacher/Eurus-70b-nca-fixed-i1-GGUF 2,4 тыс.
- mradermacher/B2-Nimble-Bophades-9B-i1-GGUF 1,9 тыс.
- mradermacher/B2-Bophades-9B-i1-GGUF 1,9 тыс.
- QuantFactory/Eurus-7b-kto-GGUFГенерация текста 1,3 тыс.
- mradermacher/Eurus-70b-nca-fixed-GGUF 1,2 тыс.
- mradermacher/B2-Nimble-Bophades-9B-GGUF 997
- mradermacher/B2-Bophades-9B-GGUF 959
- mradermacher/Eurus-7b-kto-i1-GGUF 597
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/UltraInteract_pair")