Датасет · joelniklaus
Сложные юридические экзаменационные вопросы LEXam
joelniklaus/LEXam-hard
Подборка из 518 самых сложных открытых вопросов по праву из Цюрихского университета для проверки юридических ИИ-агентов.
Что внутри
Это отфильтрованная тестовая часть бенчмарка LEXam (ICLR 2026), включающая 518 открытых вопросов на английском и немецком языках, отсортированных от самых сложных к более простым. Из исходного набора убрали задачи, которые сильные модели решают по памяти, а также вопросы, на которые невозможно ответить по их тексту. Данные предназначены для оценки систем, способных проводить юридический поиск и анализ.
Что можно сделать
- Тестирование ИИ-агентов и RAG-систем в задачах юридического анализа и поиска
- Бенчмаркинг рассуждений языковых моделей на сложном европейском праве
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский, Немецкий
- Размер
- до 1K записей
- Скачиваний за месяц
- 739
- Лайков
- 32
Как загрузить
from datasets import load_dataset
ds = load_dataset("joelniklaus/LEXam-hard")