К содержимому

Датасет · Joschka

Датасет BIG-Bench Hard для оценки LLM

Joschka/big_bench_hard

Набор данных BIG-Bench Hard, адаптированный для интеграции в платформу оценки Inspect AI.

Что внутри

Включает текстовые данные на английском языке для задач question-answering, multiple-choice и text-generation. Размер датасета составляет от 1K до 10K примеров.

Что можно сделать

  • Оценка возможностей языковых моделей с помощью фреймворка Inspect AI
  • Бенчмаркинг LLM на сложных логических задачах
Задачи
Вопрос-ответ, multiple choice, Генерация текста
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
12,4 тыс.
Лайков
4

Как загрузить

from datasets import load_dataset

ds = load_dataset("Joschka/big_bench_hard")