Многозадачный бенчмарк для языковых моделей

Что внутри

Это коллективный бенчмарк из множества задач для проверки больших языковых моделей и оценки их будущих возможностей. В метаданных указаны multiple-choice, question-answering, text-classification, text-generation и zero-shot-classification. Язык — английский.

Что можно сделать

• Оценка LLM в zero-shot на множестве задач
• Проверка моделей на question-answering и multiple-choice
• Сравнение text-generation и text-classification

Модели, обученные на нём

• Gavin-Wang/granite-abstract 0

Как загрузить

from datasets import load_dataset

ds = load_dataset("google/bigbench")