Датасет · google-research-datasets
Мультиязычный датасет вопросов и ответов TyDi QA
google-research-datasets/tydiqa
204 тысячи пар вопрос-ответ от Google Research на 11 типологически разных языках.
Что внутри
Это текстовый датасет для задачи question-answering, содержащий 204 тысячи пар вопросов и ответов. В метаданных указаны арабский, бенгальский, английский, финский, индонезийский и японский языки (всего в описании заявлено 11 языков). Набор собран авторами из Google Research с акцентом на лингвистическое разнообразие, чтобы проверять обобщающую способность моделей.
Что можно сделать
- Обучение и тестирование мультиязычных систем поиска ответов в тексте
- Проверка устойчивости LLM к редким языковым явлениям
- Задачи
- Вопрос-ответ
- Языки
- Арабский, bn, Английский, fi, Индонезийский, Японский, Корейский, Русский и ещё 3
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 12,9 тыс.
- Лайков
- 39
Модели, обученные на нём
- madebyaris/rerank-indonesiatext ranking 117
- mzahran1/arabic-english-e5-small-retrievalПохожесть текстов 107
- Trentz/IndoLM-M-v0.2-InstructГенерация текста 83
- mzahran1/arabic-english-reranker-mminilmtext ranking 77
- mmetamong/ko-decision-roberta-largeКлассификация текста 76
- Waqf-AI/arabic-modernbert-unifiedЗаполнение пропусков 68
- MostafaAhmed98/MARBERTv2-finetuned-ar-tydiqaВопрос-ответ 64
- mmetamong/ko-decision-bge-m3Классификация текста 60
Как загрузить
from datasets import load_dataset
ds = load_dataset("google-research-datasets/tydiqa")