К содержимому

Датасет · AdaptLLM

Бенчмарк юридических задач для оценки LLM

AdaptLLM/law-tasks

Набор тестовых задач в области права на английском языке для оценки доменной адаптации моделей.

Что внутри

Датасет включает от 1 до 10 тысяч примеров на английском языке в текстовом и табличном виде. Он охватывает задачи классификации текста, zero-shot классификации и ответов на вопросы в юридической сфере. Набор собран авторами статьи на ICLR 2024 для оценки того, как сохраняются навыки ответов на вопросы после доменного предобучения моделей.

Что можно сделать

  • Оценка качества LLM на юридических задачах и документах
  • Проверка сохранения способности отвечать на вопросы после доменного предобучения
  • Тестирование моделей в задачах zero-shot классификации правовых текстов
Задачи
Классификация текста, Вопрос-ответ, Zero-shot классификация
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
337
Лайков
37

Как загрузить

from datasets import load_dataset

ds = load_dataset("AdaptLLM/law-tasks")