К содержимому

Датасет · prometheus-eval

Данные для обучения LLM-судей оценке длинных ответов

prometheus-eval/Preference-Collection

Крупный англоязычный корпус для тренировки открытых моделей оценивать развёрнутые тексты.

Что внутри

Датасет включает от 100 тысяч до 1 миллиона примеров на английском языке, созданных для обучения языковых моделей детальной оценке длинных ответов. Проект решает проблему слабой корреляции открытых моделей с оценками людей и проприетарных систем уровня GPT-4.

Что можно сделать

  • SFT-обучение открытых моделей-оценщиков (LLM-as-a-Judge) для проверки длинных генераций
  • Создание reward-моделей и пайплайнов обратной связи для выравнивания LLM
Задачи
Генерация текста, Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
454
Лайков
41

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("prometheus-eval/Preference-Collection")