Датасет · lukaemon
BIG-bench Hard: сложные задачи для LLM
lukaemon/bbh
Бенчмарк BIG-bench Hard с трудными задачами и цепочками рассуждений для оценки LLM.
Что внутри
Это набор текстовых задач из BIG-bench Hard, предназначенный для проверки рассуждений моделей. Карточка ссылается на статью Suzgun et al. 2022 о задачах, которые проверяют chain-of-thought. Размер — от 1K до 10K примеров; язык в метаданных не указан. Данные используются как бенчмарк.
Что можно сделать
- Оценить LLM на сложных reasoning-задачах
- Проверить chain-of-thought и few-shot подходы
- Сравнить модели по BIG-bench Hard
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 154,7 тыс.
- Лайков
- 93
Как загрузить
from datasets import load_dataset
ds = load_dataset("lukaemon/bbh")