Датасет · allenai
Усложнённый бенчмарк для оценки reward-моделей
allenai/reward-bench-2
Обновлённый датасет на основе новых человеческих оценок для тестирования моделей вознаграждения (RLHF).
Что внутри
Вторая, значительно усложнённая версия бенчмарка RewardBench от AllenAI, собранная на основе ранее не использовавшихся человеческих данных на английском языке. Включает от 1 до 10 тысяч примеров в табличном и текстовом форматах для проверки моделей по новым категориям, включая фактологическую точность (поиск галлюцинаций) и точное следование инструкциям.
Что можно сделать
- Оценка качества reward-моделей при настройке LLM методом RLHF
- Тестирование способности моделей выявлять галлюцинации и ошибки в ответах
- Бенчмаркинг точности следования сложным пользовательским инструкциям
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 10,9 тыс.
- Лайков
- 37
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/reward-bench-2")