Датасет · prometheus-eval
Данные для оценки длинных ответов
prometheus-eval/Feedback-Collection
Тексты с фидбеком на английском, чтобы научить открытую LLM тонко оценивать длинные ответы.
Что внутри
Набор для fine-grained evaluation: тексты с обратной связью на английском, от 10 тыс. до 100 тыс. примеров. Предназначен для дообучения открытых языковых моделей оценке длинных ответов; в карточке говорится, что без такого обучения они слабо коррелируют с людьми и GPT-4.
Что можно сделать
- Обучение модели-судьи Prometheus
- LoRA для LLM-as-a-judge
- Проверка корреляции оценок с людьми и GPT-4
- Задачи
- Генерация текста, Классификация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 892
- Лайков
- 121
Модели, обученные на нём
- prometheus-eval/prometheus-7b-v2.0Генерация текста 4,6 тыс.
- mradermacher/prometheus-2-llama-3-8b-i1-GGUF 1,2 тыс.
- mradermacher/prometheus-7b-v2.0-GGUF 1,2 тыс.
- AlekseiPravdin/prometheus-7b-v2_0-ggufГенерация текста 1 тыс.
- prometheus-eval/prometheus-7b-v2.0-GGUFГенерация текста 967
- prometheus-eval/prometheus-8x7b-v2.0Генерация текста 713
- mradermacher/prometheus-8x7b-v2.0-i1-GGUF 662
- mradermacher/prometheus-2-llama-3-8b-GGUF 531
Как загрузить
from datasets import load_dataset
ds = load_dataset("prometheus-eval/Feedback-Collection")