Пары ответов Stack Exchange

Что внутри

Это обработанная версия HuggingFaceH4/stack-exchange-preferences. HTML преобразован в Markdown, для каждого вопроса созданы пары ответов (response_j, response_k), где j оценён выше k; выбрано до 10 пар на вопрос, данные перемешаны. Язык — английский, размер — от 10 до 100 млн, формат — пары для preference learning.

Что можно сделать

• Обучение reward-модели
• RLHF/DPO для языковых моделей
• Оценка качества ответов на Stack Exchange

Модели, обученные на нём

• kashif/stack-llama-2Генерация текста 63
• barnybug/stack-llama-2-ggml 14
• merve/peft-copy-testГенерация текста 8
• trl-lib/llama-7b-se-peft 0
• trl-lib/llama-7b-se-rl-peft 0
• trl-lib/llama-7b-se-rm-peft 0

Как загрузить

from datasets import load_dataset

ds = load_dataset("lvwerra/stack-exchange-paired")