Предпочтения людей в битвах Chatbot Arena

Что внутри

Датасет собран для Kaggle-соревнования по предсказанию человеческих предпочтений в Chatbot Arena. В нём более 55 000 реальных диалогов пользователей с LLM и метки предпочтений по более чем 70 моделям, включая GPT-4, Claude 2, Llama 2, Gemini и Mistral. Каждый пример — битва двух LLM на один вопрос с меткой: выбрать A, B, ничья или ничья (оба плохи). Данные табличные и текстовые, на английском.

Что можно сделать

• Обучить классификатор предпочтений для LLM
• Собрать reward-модель для RLHF
• Оценить чат-модели в парных сравнениях

Модели, обученные на нём

• cmxu/janus-4bКлассификация текста 64
• cmxu/janus-0.8bКлассификация текста 21
• DaoyuanLi/pairjudge-qwen2.5-0.5b-v0.3Классификация текста 18
• cmxu/janus-35b-a3bКлассификация текста 15
• gCao/mistral-7b-sft-arena 5
• gCao/mistral-7b-dpo-arena 3

Как загрузить

from datasets import load_dataset

ds = load_dataset("lmarena-ai/arena-human-preference-55k")