Датасет · tasksource
BIG-Bench без тяжёлых зависимостей
tasksource/bigbench
Переупакованный BIG-Bench для загрузки без TensorFlow и лишних зависимостей.
Что внутри
Англоязычный текстовый датасет для задач multiple-choice, question-answering, text-classification, text-generation и zero-shot-classification. Это переупаковка BIG-Bench без зависимостей tensorflow, pypi-bigbench и protobuf; задачи ограничены 50 тыс. примеров. Если есть train, сплит по умолчанию удалён; приведена ссылка на Colab для воспроизведения.
Что можно сделать
- Оценить LLM в zero-shot на наборе BIG-Bench
- Дообучить модель на задачах multiple-choice и QA
- Прогнать бенчмарк без установки TensorFlow
- Задачи
- multiple choice, Вопрос-ответ, Классификация текста, Генерация текста, Zero-shot классификация
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 15,5 тыс.
- Лайков
- 70
Модели, обученные на нём
- tasksource/deberta-small-long-nliZero-shot классификация 9,3 тыс.
- sileod/deberta-v3-base-tasksource-nliZero-shot классификация 8 тыс.
- sileod/deberta-v3-large-tasksource-nliZero-shot классификация 1,8 тыс.
- tasksource/deberta-base-long-nliZero-shot классификация 1,4 тыс.
- sileod/deberta-v3-xsmall-tasksource-nliZero-shot классификация 240
- samratduttaofficial/WaterSheepZero-shot классификация 81
- ITLL/deberta-v3-base-tasksource-nliZero-shot классификация 43
- zeroMN/SHMTaudio text to text 40
Как загрузить
from datasets import load_dataset
ds = load_dataset("tasksource/bigbench")