Датасет · prometheus-eval
Данные для обучения LLM-судей оценке длинных ответов
prometheus-eval/Preference-Collection
Крупный англоязычный корпус для тренировки открытых моделей оценивать развёрнутые тексты.
Что внутри
Датасет включает от 100 тысяч до 1 миллиона примеров на английском языке, созданных для обучения языковых моделей детальной оценке длинных ответов. Проект решает проблему слабой корреляции открытых моделей с оценками людей и проприетарных систем уровня GPT-4.
Что можно сделать
- SFT-обучение открытых моделей-оценщиков (LLM-as-a-Judge) для проверки длинных генераций
- Создание reward-моделей и пайплайнов обратной связи для выравнивания LLM
- Задачи
- Генерация текста, Классификация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 454
- Лайков
- 41
Модели, обученные на нём
- prometheus-eval/prometheus-7b-v2.0Генерация текста 2,6 тыс.
- prometheus-eval/prometheus-7b-v2.0-GGUFГенерация текста 2,3 тыс.
- mradermacher/prometheus-2-llama-3-8b-i1-GGUF 1,2 тыс.
- mradermacher/prometheus-7b-v2.0-GGUF 929
- AlekseiPravdin/prometheus-7b-v2_0-ggufГенерация текста 873
- prometheus-eval/prometheus-8x7b-v2.0Генерация текста 762
- mradermacher/prometheus-8x7b-v2.0-i1-GGUF 707
- mradermacher/prometheus-2-llama-3-8b-GGUF 478
Как загрузить
from datasets import load_dataset
ds = load_dataset("prometheus-eval/Preference-Collection")