К содержимому

Датасет · Anthropic

Оценки, написанные языковыми моделями

Anthropic/model-written-evals

Наборы eval-задач, сгенерированных LLM для проверки поведения моделей.

Что внутри

Репозиторий содержит датасеты, написанные языковыми моделями для статьи Anthropic о поиске поведений LLM. Они предназначены для изучения качества и свойств модельно-сгенерированных данных и для оценки других моделей. Задачи включают multiple-choice, zero-shot-classification и question-answering; язык — английский, объём — от 1 тыс. до 10 тыс. элементов.

Что можно сделать

  • Оценить persona, sycophancy и другие поведения LLM
  • Проверить zero-shot классификатор
  • Использовать для бенчмарка моделей
Задачи
multiple choice, Zero-shot классификация, Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
5,1 тыс.
Лайков
71

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Anthropic/model-written-evals")