К содержимому

Датасет · maveriq

Сложный бенчмарк BIG-Bench Hard для языковых моделей

maveriq/bigbenchhard

Набор из 1–10 тысяч сложных текстовых задач на английском, где LLM исторически уступали людям.

Что внутри

Подборка сложных тестовых заданий на английском языке объемом от 1 до 10 тысяч примеров, выделенная из известного бенчмарка BIG-Bench. Датасет сфокусирован на тех задачах (вопросно-ответных, классификации текста и токенов), с которыми языковые модели в базовом режиме справлялись хуже среднего человека-оценщика.

Что можно сделать

  • Оценить пределы рассуждений и логики больших языковых моделей (LLM)
  • Протестировать эффективность техник промптинга (например, few-shot или chain-of-thought) на сложных задачах
Задачи
Вопрос-ответ, Разметка токенов, Классификация текста
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
928
Лайков
47

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("maveriq/bigbenchhard")