Датасет · nguha
Бенчмарк юридического рассуждения LegalBench
nguha/legalbench
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.
Что внутри
LegalBench — открытый проект для совместной сборки задач оценки юридического reasoning англоязычных LLM. В бенчмарке 162 задачи, собранные из 40 источников. Данные включают тексты и таблицы для классификации и question-answering. Карточка ссылается на страницу проекта, GitHub и статью arXiv.
Что можно сделать
- Оценка юридических LLM на 162 задачах
- Проверка моделей text-classification и QA в правовой сфере
- Сравнение моделей по legal reasoning
- Задачи
- Классификация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 38,3 тыс.
- Лайков
- 200
Модели, обученные на нём
- Sleem247/lori-qwen2.5-1.5b-legal-Q8_0-GGUFГенерация текста 65
- litillabs/arbit-1.7bКлассификация текста 39
- uditjain/lori-qwen2.5-1.5b-legalГенерация текста 34
- davidschulte/ESM_nguha__legalbench_supply_chain_disclosure_disclosed_certification 19
- davidschulte/ESM_nguha__legalbench_contract_nli_no_licensing 18
- davidschulte/ESM_nguha__legalbench_opp115_data_retention 18
- davidschulte/ESM_nguha__legalbench_cuad_non-disparagement 17
- litillabs/litil-legal-intake-4bГенерация текста 17
Как загрузить
from datasets import load_dataset
ds = load_dataset("nguha/legalbench")