Человеческие оценки ответов MT-Bench

Что внутри

В датасете 3,3 тыс. экспертных парных человеческих предпочтений между ответами шести моделей на 80 вопросов MT-Bench. Модели: GPT-4, GPT-3.5, Claude-v1, Vicuna-13B, Alpaca-13B и LLaMA-13B. Аннотаторы — в основном аспиранты, разбирающиеся в тематике вопросов; язык — английский.

Что можно сделать

• Обучить reward model на парных предпочтениях
• Оценить LLM-судью против человеческих оценок
• Проверить модели на вопросах MT-Bench

Модели, обученные на нём

• samratduttaofficial/WaterSheepZero-shot классификация 96
• NikolayKozloff/Mixtral_AI_CyberTron_Swahili_7b-GGUF 18

Как загрузить

from datasets import load_dataset

ds = load_dataset("lmsys/mt_bench_human_judgments")