Датасет · llm-jp
Японская версия бенчмарка Humanity's Last Exam
llm-jp/jhle
Японский перевод сложного экзамена Humanity's Last Exam для оценки знаний и рассуждений LLM.
Что внутри
Это японская версия бенчмарка Humanity's Last Exam, подготовленная проектом LLM-jp. Вопросы с изображениями исключены, а из каждого raw_subject случайно отобрано по пять вопросов; перевод машинный, затем проверен и исправлен людьми. Размер — менее 1 тыс. примеров, язык японский, модальность text; авторы просят не публиковать и не перераспространять датасет.
Что можно сделать
- Оценка японских LLM на сложных экзаменационных вопросах
- Проверка рассуждений и знаний моделей на японском
- Сравнение моделей в бенчмарке JHLE
- Языки
- Японский
- Размер
- до 1K записей
- Скачиваний за месяц
- 51
- Лайков
- 99
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("llm-jp/jhle")