Датасет · google
Бенчмарк от Google для проверки цепочек рассуждений (CoT)
google/reveal
Набор данных на английском языке для оценки моделей-верификаторов, проверяющих пошаговые рассуждения LLM.
Что внутри
Это бенчмарк от Google для оценки качества проверки цепочек рассуждений (Chain-of-Thought) у языковых моделей. Внутри от 1 до 10 тысяч примеров на английском языке, представленных в текстовом и табличном форматах. Датасет создан для задач классификации текста и ответов на вопросы.
Что можно сделать
- Оценка моделей-верификаторов, ищущих ошибки в пошаговых рассуждениях LLM
- Тестирование систем контроля достоверности ответов в задачах question-answering
- Задачи
- Классификация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 376
- Лайков
- 40
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/reveal")