Датасет · maveriq
Сложный бенчмарк BIG-Bench Hard для языковых моделей
maveriq/bigbenchhard
Набор из 1–10 тысяч сложных текстовых задач на английском, где LLM исторически уступали людям.
Что внутри
Подборка сложных тестовых заданий на английском языке объемом от 1 до 10 тысяч примеров, выделенная из известного бенчмарка BIG-Bench. Датасет сфокусирован на тех задачах (вопросно-ответных, классификации текста и токенов), с которыми языковые модели в базовом режиме справлялись хуже среднего человека-оценщика.
Что можно сделать
- Оценить пределы рассуждений и логики больших языковых моделей (LLM)
- Протестировать эффективность техник промптинга (например, few-shot или chain-of-thought) на сложных задачах
- Задачи
- Вопрос-ответ, Разметка токенов, Классификация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 928
- Лайков
- 47
Модели, обученные на нём
- davidschulte/ESM_maveriq__bigbenchhard_multistep_arithmetic_two 18
- davidschulte/ESM_maveriq__bigbenchhard_tracking_shuffled_objects_three_objects 10
- davidschulte/ESM_maveriq__bigbenchhard_temporal_sequences 9
- davidschulte/ESM_maveriq__bigbenchhard_tracking_shuffled_objects_seven_objects 7
- davidschulte/ESM_maveriq__bigbenchhard_movie_recommendation 7
- davidschulte/ESM_maveriq__bigbenchhard_causal_judgement 7
- davidschulte/ESM_maveriq__bigbenchhard_logical_deduction_seven_objects 6
- davidschulte/ESM_maveriq__bigbenchhard_salient_translation_error_detection 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("maveriq/bigbenchhard")