Датасет · Anthropic
Оценки, написанные языковыми моделями
Anthropic/model-written-evals
Наборы eval-задач, сгенерированных LLM для проверки поведения моделей.
Что внутри
Репозиторий содержит датасеты, написанные языковыми моделями для статьи Anthropic о поиске поведений LLM. Они предназначены для изучения качества и свойств модельно-сгенерированных данных и для оценки других моделей. Задачи включают multiple-choice, zero-shot-classification и question-answering; язык — английский, объём — от 1 тыс. до 10 тыс. элементов.
Что можно сделать
- Оценить persona, sycophancy и другие поведения LLM
- Проверить zero-shot классификатор
- Использовать для бенчмарка моделей
- Задачи
- multiple choice, Zero-shot классификация, Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 5,1 тыс.
- Лайков
- 71
Модели, обученные на нём
- tasksource/deberta-small-long-nliZero-shot классификация 9,3 тыс.
- sileod/deberta-v3-base-tasksource-nliZero-shot классификация 8 тыс.
- sileod/deberta-v3-large-tasksource-nliZero-shot классификация 1,8 тыс.
- tasksource/deberta-base-long-nliZero-shot классификация 1,4 тыс.
- sileod/deberta-v3-xsmall-tasksource-nliZero-shot классификация 240
- or4cl3ai/Aiden_t5Генерация текста 181
- ITLL/deberta-v3-base-tasksource-nliZero-shot классификация 41
- zeroMN/SHMTaudio text to text 40
Как загрузить
from datasets import load_dataset
ds = load_dataset("Anthropic/model-written-evals")