К содержимому

Датасет · google-research-datasets

Мультиязычный датасет вопросов и ответов TyDi QA

google-research-datasets/tydiqa

204 тысячи пар вопрос-ответ от Google Research на 11 типологически разных языках.

Что внутри

Это текстовый датасет для задачи question-answering, содержащий 204 тысячи пар вопросов и ответов. В метаданных указаны арабский, бенгальский, английский, финский, индонезийский и японский языки (всего в описании заявлено 11 языков). Набор собран авторами из Google Research с акцентом на лингвистическое разнообразие, чтобы проверять обобщающую способность моделей.

Что можно сделать

  • Обучение и тестирование мультиязычных систем поиска ответов в тексте
  • Проверка устойчивости LLM к редким языковым явлениям
Задачи
Вопрос-ответ
Языки
Арабский, bn, Английский, fi, Индонезийский, Японский, Корейский, Русский и ещё 3
Размер
100K–1M записей
Скачиваний за месяц
12,9 тыс.
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("google-research-datasets/tydiqa")