Датасет · Joschka
Датасет BIG-Bench Hard для оценки LLM
Joschka/big_bench_hard
Набор данных BIG-Bench Hard, адаптированный для интеграции в платформу оценки Inspect AI.
Что внутри
Включает текстовые данные на английском языке для задач question-answering, multiple-choice и text-generation. Размер датасета составляет от 1K до 10K примеров.
Что можно сделать
- Оценка возможностей языковых моделей с помощью фреймворка Inspect AI
- Бенчмаркинг LLM на сложных логических задачах
- Задачи
- Вопрос-ответ, multiple choice, Генерация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 12,4 тыс.
- Лайков
- 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("Joschka/big_bench_hard")