Датасет · tencent
Бенчмарк для проверки обучения по контексту
tencent/CL-bench
1 899 задач, где модель должна учиться новым правилам и процедурам из контекста, а не из предобучения.
Что внутри
CL-bench — бенчмарк для оценки способности языковых моделей учиться по контексту. Задачи требуют осваивать новые знания предметной области, системы правил, сложные процедуры и закономерности из эмпирических данных. Всего 1 899 задач, язык — английский. Формат в карточке обрезан.
Что можно сделать
- Оценка context learning у LLM
- Проверка instruction-tuned моделей
- Сравнение моделей на задачах с новыми правилами из контекста
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 149
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("tencent/CL-bench")