Датасет · shunk031
Японский бенчмарк понимания естественного языка JGLUE
shunk031/JGLUE
Набор задач на японском языке для оценки способности моделей понимать текст.
Что внутри
Бенчмарк создан с нуля на японском языке без использования машинного или ручного перевода с других языков. Включает задания на классификацию текста, ответы на вопросы, множественный выбор и оценку семантической близости предложений.
Что можно сделать
- Оценка качества понимания японского языка у LLM и энкодеров
- Дообучение моделей для классификации и поиска похожих фраз на японском
- Тестирование систем вопросов и ответов (QA) для японского сегмента
- Задачи
- multiple choice, Вопрос-ответ, Похожесть текстов, Классификация текста
- Языки
- Японский
- Скачиваний за месяц
- 2,6 тыс.
- Лайков
- 48
Модели, обученные на нём
- hotchpotch/japanese-reranker-cross-encoder-small-v1text ranking 111,5 тыс.
- pkshatech/GLuCoSE-base-jaПохожесть текстов 31,8 тыс.
- hotchpotch/japanese-reranker-cross-encoder-xsmall-v1text ranking 20,3 тыс.
- hotchpotch/japanese-reranker-cross-encoder-base-v1text ranking 1,2 тыс.
- hotchpotch/japanese-reranker-cross-encoder-large-v1text ranking 1,1 тыс.
- akiFQC/bert-base-japanese-v3_nli-jsnli-jnli-jsickZero-shot классификация 1,1 тыс.
- hotchpotch/japanese-bge-reranker-v2-m3-v1text ranking 976
- bclavie/fio-base-japanese-v0.1Похожесть текстов 149
Как загрузить
from datasets import load_dataset
ds = load_dataset("shunk031/JGLUE")