К содержимому

Датасет · joelniklaus

Сложные юридические экзаменационные вопросы LEXam

joelniklaus/LEXam-hard

Подборка из 518 самых сложных открытых вопросов по праву из Цюрихского университета для проверки юридических ИИ-агентов.

Что внутри

Это отфильтрованная тестовая часть бенчмарка LEXam (ICLR 2026), включающая 518 открытых вопросов на английском и немецком языках, отсортированных от самых сложных к более простым. Из исходного набора убрали задачи, которые сильные модели решают по памяти, а также вопросы, на которые невозможно ответить по их тексту. Данные предназначены для оценки систем, способных проводить юридический поиск и анализ.

Что можно сделать

  • Тестирование ИИ-агентов и RAG-систем в задачах юридического анализа и поиска
  • Бенчмаркинг рассуждений языковых моделей на сложном европейском праве
Задачи
Генерация текста, Вопрос-ответ
Языки
Английский, Немецкий
Размер
до 1K записей
Скачиваний за месяц
739
Лайков
32

Как загрузить

from datasets import load_dataset

ds = load_dataset("joelniklaus/LEXam-hard")